直到現在，自動駕駛數據對于很多研發公司來說還是一個嚴守的秘密。自動駕駛汽車每天可以收集4TB或更多的傳感器原始數據。今年3月，Aptiv成為自動駕駛系統開發大公司中第一個公開發布傳感器數據的公司。6月16日，2019年計算機視覺和模式識別大會（CVPR）在美國長灘開啟。Waymo和Argo AI也在此次會議中發布了數據集。
自動駕駛產生的實時數據能讓車輛有效地了解周圍的環境，并在真實世界中行駛。但只有部分數據對系統的開發和改進真正有用。在城市街道的自動駕駛測試中，自動駕駛汽車內的工程師和技術人員們會記錄下有趣或有挑戰性的場景。
測試結束時，所有的數據都會從車輛導入數據中心，接著對有用的數據進行分析和標記。對于現代自動駕駛系統訓練的核心——機器學習系統而言，原始數據本身沒有多大價值。數據中令人感興趣的對象包括行人、騎自行車的人、動物、交通信號等等。任何傳感器數據被用于訓練或測試人工智能系統之前，所有對象都需要手工標記和標注，以便于系統理解。
過去，研究人員創建和發布的數據集相對較小。這些數據集的數據來源也非常有限，通常僅限于攝像頭數據。Aptiv發布的NuScenes數據集除了圖像外，還包括激光雷達和雷達數據。
Waymo和Argo最近發布的自動駕駛數據集有了很大突破。Waymo稱其數據集包含了3000個場景，是Aptive的NuScenes數據集的3倍，攝像頭和激光雷達之間的信息同步也更好。Waymo還提供了5個激光雷達傳感器的數據，而NuScenes數據集中只有1個。
福特自動駕駛開發合作伙伴Argo AI的Argoverse數據集與Waymo有些不同。雖然它也包含激光雷達和攝像頭數據，但它只覆蓋了在邁阿密和匹茲堡記錄的113個場景，包括Argo AI使用的所有9個攝像頭以及2個激光雷達傳感器的圖像，其中標注的目標超過10000個。
Argo AI的Argoverse數據集的特別之處在于，它是第一個包含高清地圖數據的數據集。Argo AI目前在其運營區域打造了自己的高清地圖。這些數據包含匹茲堡和邁阿密290公里的車道地圖，如位置、連接、交通信號、海拔等信息。Argo AI在其地圖解決方案中大力宣傳的一個功能就是它優化處理的能力：能夠精確地知道在哪里尋找交通標志和信號，不必掃描整個場景來尋找。
所有這三個數據集都在不同的位置提供了真實世界有價值的新信息，研究人員可以利用這些信息來幫助開發車輛感知和預測周圍環境的新算法。
