作者 |德新

編輯 |王博

十幾年前，當(dāng)時在普林斯頓大學(xué)任教的李飛飛，意識到數(shù)據(jù)的稀缺是人工智能發(fā)展的主要瓶頸。于是從2009年開始，她和團隊搜集了互聯(lián)網(wǎng)上數(shù)十億張的圖片，創(chuàng)建了一個龐大的覆蓋全球的視覺分類數(shù)據(jù)庫，并發(fā)起了一項比賽——ImageNet Large Scale Visual Recognition Challenge，簡稱ImageNet挑戰(zhàn)賽。

再隔了3年后，來自多倫多大學(xué)的Geoffrey Hinton帶領(lǐng)他的學(xué)生團隊用深度學(xué)習(xí)模型AlexNet贏下了2012年的挑戰(zhàn)賽，這讓學(xué)界和工業(yè)界廣泛意識到深度學(xué)習(xí)在圖像識別乃至整個人工智能領(lǐng)域的巨大潛力。可以說，ImageNet是深度學(xué)習(xí)和人工智能真正爆發(fā)的起點。Hinton也因此拿了2024年諾貝爾獎的物理學(xué)獎，這是后話。

李飛飛，圖片來源：StanfordHAI

如今，AI正在從互聯(lián)網(wǎng)圖像、語音的處理，進入到自動駕駛、機器人這些與物理世界強相關(guān)的領(lǐng)域，就像當(dāng)年2D的圖像數(shù)據(jù)稀缺一樣，3D空間數(shù)據(jù)也成為算法發(fā)展高度稀缺的資源。無論自動駕駛還是機器人領(lǐng)域的頭部公司，都在廣泛地尋找用于模型訓(xùn)練迭代的數(shù)據(jù)資源。

就在前兩天，一家新的3D數(shù)據(jù)公司ROVR，在北美的ADAS與AV技術(shù)峰會上，與UC Berkeley、清華大學(xué)宣布開源了一批3D數(shù)據(jù)。第一批開源的數(shù)據(jù)包含1400個Clips，共20萬幀，包括點云、GPS、RTK、IMU等多維度信息，并且覆蓋歐洲、北美、東南亞等不同地域，包含動態(tài)以及靜態(tài)的目標(biāo)，以及左行、右行、高速、城區(qū)、鄉(xiāng)村、雨天、夜間等不同的場景。

ROVR團隊告訴我們，開源這批數(shù)據(jù)只是一個小的開端，他們的目標(biāo)是打造全球最大的開源3D數(shù)據(jù)集。在輔助駕駛與具身智能快速發(fā)展，世界模型、VLA等新技術(shù)層出不窮的今天，有價值的3D數(shù)據(jù)，無疑像火箭燃料一樣是助推技術(shù)發(fā)展的關(guān)鍵資源。

一、3D數(shù)據(jù)為什么高度稀缺？

AI時代，數(shù)據(jù)成為模型算法訓(xùn)練的基礎(chǔ)，只有復(fù)雜多元的數(shù)據(jù)，才能真正意義上提高模型的泛化能力，但今天業(yè)界公開的3D數(shù)據(jù)遠遠不夠。

近幾年業(yè)界比較知名的幾大3D數(shù)據(jù)集，如nuScenes、KITTI、Waymo Open Dataset等，這些數(shù)據(jù)集當(dāng)下已經(jīng)有些「滯后」。

一部分的數(shù)據(jù)集早期在發(fā)起時有一定的大公司PR需求，已經(jīng)有幾年不更新了；其次，針對關(guān)鍵的深度信息，其激光雷達點云大部分使用的是前幾年的機械式激光雷達，和今天量產(chǎn)的車規(guī)級激光雷達從特征上不一致；再者，KITTI以德國等地區(qū)的數(shù)據(jù)為主，Waymo Open Dataset則是以Waymo早期在美國舊金山、鳳凰城采集的一些數(shù)據(jù)為主，這些數(shù)據(jù)都有地域局限。

因此這些數(shù)據(jù)集對研發(fā)已經(jīng)沒有真正的價值。

無論是輔助駕駛出海，還是世界模型的訓(xùn)練，今天都希望找到全球化的、具有廣泛多元特征的數(shù)據(jù)。技術(shù)最先進的特斯拉，也在瘋狂地渴求目標(biāo)地域的數(shù)據(jù)。甚至應(yīng)該說，技術(shù)越先進的公司，時下對高質(zhì)量數(shù)據(jù)的需求越強烈。

在過去，高精度的3D空間數(shù)據(jù)要么不存在，要么非常昂貴。

地圖廠商曾經(jīng)是這樣一類數(shù)據(jù)的提供商，但圖商的業(yè)務(wù)模式為車企服務(wù)定制的，一方面價格較高，另一方面由于車企本身的地域特征，圖商的業(yè)務(wù)也是地域化的。

而近兩年隨著國內(nèi)輔助駕駛的大規(guī)模量產(chǎn)，推動了硬件供應(yīng)鏈大幅度的成熟，這時候解決全球化的3D空間數(shù)據(jù)供給逐漸顯現(xiàn)出眉目。

二、如何解決覆蓋全球的3D空間數(shù)據(jù)？

ROVR是一家從創(chuàng)辦之初就高度全球化的公司，目前其有近20人的團隊。

在創(chuàng)辦將近1年的時間里，其推出了兩款產(chǎn)品TX（Tarantula X）和LC（LightCone），目前這兩款設(shè)備在海外大概有近2000臺的部署量，由此ROVR積累了超過2300萬公里的數(shù)據(jù)，這些數(shù)據(jù)主要分布在歐洲、北美以及東南亞地區(qū)，不包括中國市場。

2300萬公里這個數(shù)據(jù)是什么概念呢？

可以對比一下Waymo到2021年，差不多花了12年時間累計測試了2000萬英里。并且ROVR預(yù)計，到今年底其活躍設(shè)備總數(shù)能達到5000臺，里程數(shù)據(jù)則能達到6000萬公里級。

TX，圖片來源：企業(yè)官方

其推出的兩款產(chǎn)品，TX是一款RTK接收器，并通過手機相機收集道路數(shù)據(jù)，追求更高的覆蓋度和鮮度。其獲得的高實時性道路數(shù)據(jù)，可以服務(wù)于SD地圖、HD地圖的更新和情報發(fā)現(xiàn)，能為地圖公司更新提供更好的數(shù)據(jù)源。

LC是一款更高精度的設(shè)備，其集成了IMU、ADAS相機、車規(guī)級固態(tài)激光雷達，也配備了厘米級RTK服務(wù)。除了建圖、檢測、目標(biāo)分割外，LC采集的數(shù)據(jù)，還能很好地支持單目深度估計任務(wù)的訓(xùn)練。

LC，圖片來源：企業(yè)官方

ROVR的CTO Yuan Si告訴我們，TX這級的產(chǎn)品由于配置了厘米級的RTK，在當(dāng)前市場上幾乎找不到同等精度精度的同類數(shù)據(jù)源；后者應(yīng)該也是當(dāng)前市面上唯一的量產(chǎn)激光雷達采集設(shè)備。

為什么呢？

因為高精度RTK服務(wù)非常昂貴，大部分的眾源設(shè)備（如后裝一體機），出于成本考量沒有搭載高精度的RTK。如果采用GPS的話，在好的情況下其數(shù)據(jù)精度偏移也在1 - 2米級。

RTK能夠做到靜態(tài)5厘米級的精度。ROVR有一家非常深入的合作伙伴在運營全球性的RTK服務(wù)網(wǎng)絡(luò)GEODNET，這家公司同時也是ROVR的股東，因此其能以較低的成本使用RTK服務(wù)。GEODNET在全球有2萬多個基站，覆蓋了近150個國家和地區(qū)。

而大規(guī)模量產(chǎn)的車規(guī)級激光雷達，經(jīng)歷了過去幾年的激烈競爭，來自中國的供應(yīng)商占據(jù)了這一市場，由此ROVR借助國內(nèi)的供應(yīng)鏈優(yōu)勢實現(xiàn)了LC的量產(chǎn)。

目前ROVR的采集設(shè)備，主要包含3類的采集者，個人網(wǎng)約車司機、商用車或者客運車隊的車隊主，以及技術(shù)愛好者。ROVR也會通過向數(shù)據(jù)需求旺盛的區(qū)域定向投放激勵的方式，來激勵和引導(dǎo)數(shù)據(jù)的采集。

在海外市場，實際上3D數(shù)據(jù)的需求一直存在，但一直沒有被滿足。地圖公司過去大部分的情報數(shù)據(jù)只有圖片，而帶有結(jié)構(gòu)化信息、帶點云的高精地圖成本太高。

當(dāng)前在中國的車企以及一些科技公司都在謀劃輔助駕駛方案出海，針對中國道路與海外道路的差異：

「中國的道路里程很長，和美國相當(dāng)；主要的區(qū)別在于不同的交通標(biāo)識，比如車道線、交通標(biāo)識牌的設(shè)置。另一方面在于交通參與者的不同，比如歐洲對于排放要求較高，市區(qū)內(nèi)大貨車的比例，要比中美少很多。更多是小排量的兩門車。還有一部分是道路質(zhì)量的不同，中歐大部分是瀝青路面，駕駛條件較好。美國道路條件差一些、坑洼很多，鄉(xiāng)間道路也很多�！筜uan Si說，「這也會給很多車企帶來比較大的出海適應(yīng)成本，我們希望助力中國企業(yè)出海�！�

目前，以時長30秒覆蓋約1公里的數(shù)據(jù)包為例，ROVR提供給車企的成本大約是傳統(tǒng)數(shù)據(jù)的1/10的價格。

「ROVR的目標(biāo)就是要把大規(guī)模覆蓋的高精數(shù)據(jù)成本打下來�！�

ROVR數(shù)據(jù)示例，圖片來源：企業(yè)官方

同時，定位海外市場的3D數(shù)據(jù)平臺，ROVR也會嚴格遵循當(dāng)?shù)氐暮弦?guī)要求。Yuan Si向我們介紹，目前其海外的數(shù)據(jù)合規(guī)大體會分三個階段：

第一，在采集階段對個人信息進行脫敏，并且對敏感區(qū)域設(shè)置地理圍欄限制采集；第二，所有的數(shù)據(jù)通過加密傳輸?shù)�，保證數(shù)據(jù)即使被抓取也無法破解；第三，遵循GDPR的要求，數(shù)據(jù)本地采集、本地存儲，不存在數(shù)據(jù)跨境的情況。

三、從自動駕駛到具身智能

ROVR目前的團隊，絕大部分是來自自動駕駛、地圖以及互聯(lián)網(wǎng)大廠的背景。

CEO Guang Ling，先后在中興、騰訊以及一家頭部激光雷達公司任職，從2016年開始見證了整個自動駕駛行業(yè)的發(fā)展，并且兼具有大型軟件、高性能計算以及自動駕駛硬件等領(lǐng)域的經(jīng)驗和國際視野。

CTO Yuan Si則前后在四維圖新、百度等大型圖商任職，曾經(jīng)深度參與多家國際車企在中國和海外市場的地圖項目。團隊還有一位負責(zé)海外市場的CEO，是MEMS IMU的發(fā)明人，在定位和RTK領(lǐng)域有極深的造詣。

尤其團隊在自動駕駛領(lǐng)域的積累，使ROVR在硬件、數(shù)據(jù)產(chǎn)品設(shè)計等環(huán)節(jié)都有豐富的經(jīng)驗。

第一批的采集硬件在今年4月發(fā)貨后，在全球市場惡劣的環(huán)境下使用，目前沒有一例返修案例。由于都是自研設(shè)備，這樣能保證全球采集數(shù)據(jù)的傳感器、配置以及數(shù)據(jù)格式統(tǒng)一；目前其針對采集數(shù)據(jù)的脫敏、自動化標(biāo)注等主要算法，也都是內(nèi)部自研的。

今年除了繼續(xù)提高兩款產(chǎn)品的發(fā)貨量之外，ROVR還在著手研發(fā)第三款產(chǎn)品，是一款針對室內(nèi)的機械臂產(chǎn)品預(yù)計在今年底明年初發(fā)布，這款產(chǎn)品會將團隊的數(shù)據(jù)產(chǎn)品從室外拓展到室內(nèi)，也將從輔助駕駛邁向具身智能。

       原文標(biāo)題 : 輔助駕駛出海、具身智能落地，稀缺的3D數(shù)據(jù)從哪里來？