雷鋒網(wǎng) AI 研習社按，日前，伯克利發(fā)布了迄今最大、最多樣化的帶有豐富注釋的駕駛視頻數(shù)據(jù)集 BDD100K。大家可以訪問 http://bdd-data.berkeley.edu 獲取該數(shù)據(jù)集。同時，他們也在 arXiv 上發(fā)布了關于該數(shù)據(jù)集的報告，大家也可以利用該數(shù)據(jù)集參加他們主辦的的 CVPR 2018 挑戰(zhàn)賽。

關于該數(shù)據(jù)集的詳細信息雷鋒網(wǎng) AI 研習社整理如下：

自動駕駛將隨時改變社區(qū)中人們的生活方式。然而，最近發(fā)生的一系列事故表明，當在真實世界使用駕駛系統(tǒng)時，尚不清楚這種人造感知系統(tǒng)如何避免看起來非常明顯的錯誤。

作為計算機視覺研究人員，我們對探索自動駕駛的前沿感知算法非常感興趣，我們想讓自動駕駛更加安全。為了設計和測試具有潛力的算法，我們想要利用真實駕駛平臺收集的數(shù)據(jù)信息。這種數(shù)據(jù)有四個主要特性：大規(guī)模、多樣性、在道路上收集、具備時間信息。

數(shù)據(jù)多樣性對測試感知算法的魯棒性尤為重要。然而，當前的開放數(shù)據(jù)集并不能涵蓋到上面描述的所有屬性。因此，在 Nexar 的幫助下，我們發(fā)布了 BDD100K 數(shù)據(jù)集，這是迄今為止計算機視覺研究中最大、最多樣化的開放駕駛視頻數(shù)據(jù)集。 

從該數(shù)據(jù)集的名字 BDD100K 就可以猜到它有多大，這一數(shù)據(jù)集包含 10 萬段視頻。每段視頻時長大約為 40 秒，格式為 720p、30 fps。視頻中還包括手機記錄的 GPS/IMU 信息，可以顯示出大致的駕駛軌跡。這些視頻是在美國不同地方收集的，如下圖所示。

圖：視頻采集點

數(shù)據(jù)集中有很多不同天氣，包括晴天、陰天和雨天，還有一天中的不同時間段，如白天和夜晚。下表總結了與之前數(shù)據(jù)集的比較，可以看到這一數(shù)據(jù)集更大、更多樣。

圖：與其他道路場景數(shù)據(jù)集的對比

這些視頻和視頻中的軌跡對于駕駛策略的模仿學習很有用，正如我們 CVPR2017 的一篇的論文所示。為了助于在大數(shù)據(jù)集上進行計算機視覺研究，我們也在視頻關鍵幀上提供基本注釋，大家可以在 http://bdd-data.berkeley.edu下載數(shù)據(jù)和注釋。

注釋

我們在每段視頻的第 10 秒進行關鍵幀采樣，并為這些關鍵幀加上注釋。主要有這些標記：圖像標簽、道路對象邊界框、可駕駛區(qū)域、車道標記和全幀實例分割。這些注釋將幫助我們理解不同類別場景中數(shù)據(jù)和對象統(tǒng)計信息的多樣性。我們將在另一篇博文中討論標注過程。

大家可以在這篇文章中看到更多關于注釋的信息。

圖：注釋概覽

道路目標檢測

我們?yōu)檫@ 10 萬個關鍵幀中經(jīng)常出現(xiàn)在道路上的對象標上邊界框，以了解對象的分布及其位置。下面的條形圖顯示了對象數(shù)目。也有其他處理注釋中統(tǒng)計信息的方法。例如，我們可以比較不同天氣條件或不同場景下的對象數(shù)目。這張圖還顯示了數(shù)據(jù)集中的不同對象集以及數(shù)據(jù)集的規(guī)模——超過 100 萬輛汽車。提醒下大家，這些是具有不同的外觀和環(huán)境背景的物體。

圖：不同類型對象的統(tǒng)計信息

這一數(shù)據(jù)集也適用于某些特定領域的研究。例如，如果你對在街道上檢測和避免行人感興趣，那么你也可以研究這一數(shù)據(jù)集，因為它包含了比之前的專業(yè)數(shù)據(jù)集更多的行人實例，如下表所示。

圖：與其他行人數(shù)據(jù)集在訓練集上的比較

車道標記

車道標記是對司機重要的道路指示。當 GPS 或地圖沒有準確全面覆蓋時，它們也是自動駕駛系統(tǒng)把握駕駛方向和定位的關鍵線索。我們根據(jù)車道標記指示的不同將其劃分為兩種類型：垂直車道標記 (在下圖中用紅色表示) 表示沿著車道行駛方向的標記，平行車道標記 (在下圖中用藍色表示) 表示需要停車。我們還提供了一些屬性，例如 solid vs. dashed、 double vs. single。

下面是與現(xiàn)有車道標記數(shù)據(jù)集的比較。

可駕駛區(qū)域

是否能在道路上行駛不僅取決于車道標記和交通設施，還依賴與道路上其他對象間的復雜交互。最后，重要的是能知道哪些區(qū)域可以駕駛。為了研究這一問題，我們還提供了可駕駛區(qū)域的分割注釋，如下圖所示。我們基于車輛的軌跡將可駕駛區(qū)域分為兩類：可駕駛和選擇性駕駛。可駕駛用紅色標記，意味著車輛享有道路優(yōu)先權，可以在那個區(qū)域駕駛。選擇性駕駛用藍色標記，意味著汽車可以在該地區(qū)行駛，但必須謹慎，因為該車輛在這條道路上不具有道路優(yōu)先權。

全幀分割

Cityscapes 數(shù)據(jù)集顯示，全幀精細實例分割可以大大支持預測和目標檢測研究。由于這次公開的視頻在不同領域，我們提供了實例分割注釋，也通過不同的數(shù)據(jù)集來比較相關的域轉移。要實現(xiàn)像素級分割非常昂貴和費力，幸運的是，我們自己的標簽工具可以將標簽成本降低 50%。最后，我們對這 10K 圖像集的一個子集進行全幀分割。為了更易研究數(shù)據(jù)集之間的域轉移，我們的標簽集與 Cityscapes 中的訓練注釋可兼容。

自動駕駛挑戰(zhàn)賽

基于這一數(shù)據(jù)集，我們在 CVPR 2018 自動駕駛研討會上主辦了三個挑戰(zhàn)賽：道路目標檢測、可駕駛區(qū)域預測和語義分割域適應。檢測任務要求算法找出測試圖像中所有的目標對象，可駕駛區(qū)域預測需要分割出汽車可以行駛的區(qū)域。在域適應挑戰(zhàn)上，測試數(shù)據(jù)是在中國采集的，因此，這非常挑戰(zhàn)，基于來自美國的數(shù)據(jù)訓練的模型需要能用于北京擁擠的街道。大家可以登錄如下網(wǎng)站提交結果：

http://bdd-data.berkeley.edu/login.html

（完）

via：bair.berkeley.edu/blog

雷鋒網(wǎng) AI 研習社編譯整理。

雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。