日本在线看黄a美女久草|日本动漫亚洲在线一区|日韩人妻无码免费视频|A√有码中文字幕|日韩一级片视频热久久久|一区二区三区四区精品无码在线|亚洲AV成人无码一二三app|亚洲综合图片绯色|91极品人妻在线网站|国产成人精品一区二三区四区五区

<tbody id="avdaw"><center id="avdaw"></center></tbody>
您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號安全和更好的產(chǎn)品體驗,強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時鏈接,僅用于文章預(yù)覽,將在時失效
機(jī)器人 正文
發(fā)私信給劉欣
發(fā)送

0

諾亦騰機(jī)器人戴若犁:跳出遙操作,構(gòu)建以人為中心的數(shù)據(jù)路徑丨GAIR 2025

本文作者: 劉欣   2025-12-26 10:09
導(dǎo)語:“既要又要的結(jié)果就是勺叉,咱不當(dāng)勺叉,咱們當(dāng)一個好用的叉子就行。?”?

在機(jī)器人產(chǎn)業(yè)蓬勃發(fā)展的浪潮下,具身智能已然成為驅(qū)動產(chǎn)業(yè)變革的核心賽道,而高質(zhì)量數(shù)據(jù)的缺失與不足,正是制約其發(fā)展的關(guān)鍵瓶頸。

在此背景下,諾亦騰機(jī)器人(Noitom Robotics)作為目前中國唯一一家明確以“數(shù)據(jù)”為交付界面的公司,憑借著其在動作捕捉技術(shù)上的積累為機(jī)器人數(shù)據(jù)提供關(guān)鍵支撐。

作為諾亦騰機(jī)器人(Noitom Robotics)創(chuàng)始人的戴若犁博士在2025年12月13日雷峰網(wǎng)舉辦的第八屆GAIR全球人工智能與機(jī)器人大會現(xiàn)場上,做了題為《用動作捕捉技術(shù)構(gòu)建具身智能數(shù)據(jù)工廠》的分享。

他指出,人形機(jī)器人所代表的具身智能,正在成為一個天花板足夠高、且對高質(zhì)量數(shù)據(jù)有強(qiáng)烈需求的新賽道。由于遙操作的一些現(xiàn)實痛點,行業(yè)開始將視角逐步拓展至以人為中心(human-centric)的數(shù)據(jù)路徑,嘗試構(gòu)建不與單一機(jī)器人本體強(qiáng)綁定的數(shù)據(jù)體系。

以下為他的演講內(nèi)容,雷峰網(wǎng)(公眾號:雷峰網(wǎng))做了不改變原意的編輯:

大家好,今天早晨我是從北京坐飛機(jī)趕過來,早晨出門的時候是北京今年的第一場雪,大概零下七八度,而深圳非常溫暖,也讓我非常開心。今天我想跟大家來聊一聊,具身智能數(shù)據(jù)的一些認(rèn)知。

我的公司叫諾亦騰機(jī)器人(Noitom Robotics),可能是服務(wù)全球具身智能公司,本體公司、大廠最多的一家數(shù)據(jù)公司。我們服務(wù)了六七十家不同的機(jī)器人公司、模型公司,并且關(guān)于具身智能數(shù)據(jù)的全鏈路Pipeline都做過,包括遙操作、Human-centric數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、預(yù)訓(xùn)練、后處理。所以在這個行業(yè)里,我們有第一手的經(jīng)驗或教訓(xùn),今天可以跟大家來分享一下。

諾亦騰機(jī)器人戴若犁:跳出遙操作,構(gòu)建以人為中心的數(shù)據(jù)路徑丨GAIR 2025

首先我先介紹一下,我12年創(chuàng)辦的第一家公司叫諾亦騰(Noitom Ltd.),諾亦騰是做動作捕捉和動作追蹤技術(shù)的,甚至Noitom的名字由來都是把動作Motion這個詞反過來拼寫,所以我們一直在研究人和空間物體的Motion。但在過去的十年里,我們一直都在尋找一個天花板足夠高、且對人的數(shù)字化行為、高精度的物體位姿和高質(zhì)量的數(shù)據(jù)是有剛需的領(lǐng)域。

我們服務(wù)了好萊塢影視、體育運動分析、醫(yī)療健康等各種不同的行業(yè),這些行業(yè)大概都是幾千萬一年的收入,比較小但都很穩(wěn)定。所以諾亦騰的市占率做到了全球第一名,每年小幾個億的營收。

但在23年底,諾亦騰24年全年機(jī)器人的營收相比過去任何一年漲了5、6倍。今年還沒有過完,所以還沒統(tǒng)計第四季度的收入,但比去年已經(jīng)又漲了6倍,所以兩年加一塊已經(jīng)有將近四十倍的增長了。

我們看到了一個機(jī)會,雖然這個機(jī)會我們是被動進(jìn)入的。其實我的博士學(xué)位就是Robotics,準(zhǔn)確來說我是第一批做控制算法、非線性控制下的抓取振動抑制(grasping vibration damping)這方面科研的,但后面一直都在做感知,直到機(jī)器人把我又拖回了原來熟悉的科研。

最后復(fù)盤時發(fā)現(xiàn),從23年的9月底開始,這個密集的需求,其實是建立在兩件事情被驗證的基礎(chǔ)上。第一件事情是大家信了一件事情:如果只做單一構(gòu)型,那么人形是一個最好的Solution。

諾亦騰機(jī)器人戴若犁:跳出遙操作,構(gòu)建以人為中心的數(shù)據(jù)路徑丨GAIR 2025

第二是,不管是VLA還是其他架構(gòu)的模型里面,都有人階段性地驗證了具身智能的Scaling Law。這說明把數(shù)據(jù)量提高,或者按模型的規(guī)模體量所需要的算力投進(jìn)去,是能得到一些泛化的能力和靈巧性的。

諾亦騰機(jī)器人戴若犁:跳出遙操作,構(gòu)建以人為中心的數(shù)據(jù)路徑丨GAIR 2025

這兩件事情都被證明之后,出現(xiàn)了一個很有意思的事情。上圖藍(lán)色和橙色區(qū)域的企業(yè)(人形機(jī)器人本體和模型)都開始問我們要三種東西:設(shè)備、項目和數(shù)據(jù),他們會直接問我們能不能賣數(shù)據(jù),各種數(shù)據(jù)都可以,無論是單模態(tài)、低精度還是高質(zhì)量的數(shù)據(jù)都要的。而且他們對于數(shù)采的設(shè)備、服務(wù)和對數(shù)據(jù)的渴求,在過去的兩年中完全沒有看到任何減速的跡象,不停地往上走。

幾周之前,美國有幾個工作,告訴了大家用多大體量的數(shù)據(jù)。比如說Generalist的GEN-0用了27萬小時的真實世界操作軌跡,這個數(shù)字給了整個行業(yè)巨大的信心。

Scaling Law不需要自己驗證,有人驗證就行。大家原本不知道:數(shù)據(jù)堆到什么體量ROI不會掉下來;或者堆到什么體量能有顯著的泛化能力提升。但現(xiàn)在有人告訴你,你可以放心大膽堆到30萬小時,這就像有一條路擺在前面一樣。

于是,來找我們詢價和問26年的產(chǎn)能的客戶,一下子從原先討論的千小時、萬小時到了十萬小時為單位起。大家需求的胃口已經(jīng)被打到那個數(shù)量級了。

很多人包括投資人跟我聊,你們是不是對標(biāo)的Scale AI?其實不是的。Scale AI誕生于多模態(tài)模型和自動駕駛這兩個行業(yè),跟機(jī)器人行業(yè)的數(shù)據(jù)需求是有著本質(zhì)的區(qū)別的。其中最大的區(qū)別就在于,這兩個行業(yè)所服務(wù)的甲方獲取數(shù)據(jù)的能力比乙方強(qiáng),比如自動駕駛的甲方可以用自己的車隊獲取數(shù)據(jù)。

如果當(dāng)甲方獲取生數(shù)據(jù)的能力強(qiáng)于或平權(quán)于乙方時,那么數(shù)據(jù)生意的毛利天花板就不夠可觀。這件事可以在美國做,因為美國可以全球眾包,這樣就可以在美國40%或50%毛利的天花板下面努力的卷,但很難突破50%。但和美國用本地勞動力置換海外的勞動力不同,中國是本地置換本地的勞動力。所以中國的天花板是20%,苦一點的10%以下的生意也有人做。

美國有三家數(shù)據(jù)生意做得比較好的公司,分別是Scale AI、Mercor和Surge AI。我認(rèn)為做得最好的一家不是Scale AI,而是Surge AI。因為它的毛利很多時候能做到60%,這是非常杰出的一個能力。Surge AI的主要能力是AI Infra(基礎(chǔ)設(shè)施),把工具鏈做得特別好。Scale AI最厲害的能力是對benchmark和data validation數(shù)據(jù)的利用,以及它的訓(xùn)練模型的優(yōu)化能力其實強(qiáng)于他的甲方,somehow強(qiáng)于Anthropic。而Mercor其實是一家AI人力招聘公司,所以它最厲害的是篩人、找人、卷人,把人激勵好,把人的數(shù)據(jù)給回流,最后快速的輪轉(zhuǎn),全球都可以合規(guī)。

所以這三家其實是天縱英才,甲方拿著數(shù)據(jù)來找你拉框框,還可以做到40%或50%的毛利,每年做幾十億美金的生意,這是很杰出的。中國做得比較好的有曼孚和海天瑞聲。

整體來說,當(dāng)乙方?jīng)]有顯著優(yōu)于甲方的數(shù)據(jù)獲取能力的時候,這個數(shù)據(jù)生意其實就是一個勞動力置換和外包,在中國卷的天花板就是15%到20%的毛利。

硬件銷售也是一個苦生意。我做了十幾年to B的硬件銷售,已經(jīng)看過天花板了。所以在這個行業(yè)里,我覺得知道該怎么做機(jī)器人數(shù)據(jù)這個生意遠(yuǎn)重要于其他,就是你的business model應(yīng)該是什么,這件事情非常非常的重要。

很多人來找我們,買我們的設(shè)備,做遙操作,請我們做retargeting,然后去采集數(shù)據(jù)。也有人做whole body的teleoperation,包括工具的使用、雙手的協(xié)同。更加復(fù)雜的可能是做雙向的數(shù)據(jù)互傳,比如人到機(jī)器人的motion的互傳,機(jī)器人到人的視覺的互傳,甚至一些感官的替代,比如力反饋。

但這個世界上沒有真正力反饋的Solution,我從大概14、15年開始做XR領(lǐng)域的力反饋,應(yīng)該是中國第一批,但后來在這個領(lǐng)域中的玩家通通放棄了。這是一個比人形機(jī)器人還難的賽道,為了解決一個A命題而去挑戰(zhàn)一個更難的B命題這是不對的。所以行業(yè)內(nèi)普遍的做法都會做感官轉(zhuǎn)移,比如把力和觸覺轉(zhuǎn)換成視覺和聽覺,或者其他更加易得的感官,然后再去完成復(fù)雜的任務(wù)。

諾亦騰機(jī)器人戴若犁:跳出遙操作,構(gòu)建以人為中心的數(shù)據(jù)路徑丨GAIR 2025

這是西湖機(jī)器人的全身遙操作(whole-body teleoperation),做得特別好,強(qiáng)于很多公司和高校所做的全身遙操作,穿的是我們的設(shè)備,我們也貢獻(xiàn)了一些力量。

諾亦騰機(jī)器人戴若犁:跳出遙操作,構(gòu)建以人為中心的數(shù)據(jù)路徑丨GAIR 2025

這是宇樹的全身控制(whole-body control),也做的很不錯,是遙操作里面比較杰出的工作。

遙操作絕對是非常好的獲取數(shù)據(jù)的方式,因為獲取的數(shù)據(jù)是真機(jī)數(shù)據(jù),里面包含著寶貴的真機(jī)特性。但是遙操作有三大結(jié)構(gòu)性挑戰(zhàn)(“原罪”):

成本效率:昂貴而緩慢,成功率很低。

能力局限性:比如靈巧性高的手內(nèi)的操作(in-hand manipulation)、高精度依賴力觸覺的雙手協(xié)同、非視覺引導(dǎo)操作(vision non-guided manipulation)無法執(zhí)行,只有pick and place最成熟。

以及跨本體泛化能力等問題。

諾亦騰機(jī)器人戴若犁:跳出遙操作,構(gòu)建以人為中心的數(shù)據(jù)路徑丨GAIR 2025

大家可以看這張流程圖,這是我們典型的服務(wù)遙操作的客戶,就是典型的工作流,也是我們賺錢的流程。這里有一個特別重要的步驟叫retargeting mapping,這是指把一個人的數(shù)字化形象和行為翻譯成一個機(jī)器人的數(shù)字化形象和行為,然后讓機(jī)器人的運維系統(tǒng)去跟。

但是mapping同時也使得模態(tài)丟失、損失,維度降低。所以retargeting mapping結(jié)束之后,你從機(jī)器人身上采到的數(shù)據(jù)已經(jīng)極大的降維了,已經(jīng)極大的comply到機(jī)器人的構(gòu)型和它的傳感器上了。所以它有極差的跨本體能力,從宇樹的G1上采的數(shù)據(jù)到同家公司另一個型號上就學(xué)不了。

這件事情讓很多的客戶以及我自己都很恐慌,24年7月份,全球包括我的團(tuán)隊在內(nèi)的五個組都開始探索“如何讓數(shù)據(jù)能夠跨本體”。到了24年年底,很多個組跳出了遙操作的工作,追尋新的方向。

但這并不是說遙操作的數(shù)據(jù)不重要,這是我必須要強(qiáng)調(diào)的。遙操作的數(shù)據(jù)很重要,它的第一性是真機(jī)特性,可以去表征。但是需要的體量不高,因為它不能跨本體,沒有靈巧性,很昂貴。所以如果獲得足夠去表征真機(jī)特性的數(shù)據(jù),就應(yīng)該停。

于是行業(yè)開始將視角逐步拓展至以人為中心(Human-centric)的數(shù)據(jù)路徑 ,跳出遙操作的范疇,不再和本體綁定,直接進(jìn)行操作。把機(jī)器人身上可能有的全量甚至是Over kill的Sensor 穿在你身上,視覺傳感器力觸覺傳感器,甚至于連溫度感知、聲音感知、深度視覺、旁觀視覺、旁觀的深度視覺都集合在某一個形態(tài)的設(shè)備里頭,來嘗試捕捉一個人直接在打螺絲時候的全量的模態(tài)維度,以超高的精度,遠(yuǎn)超于機(jī)器人感知的精度去獲取信息。

剛才說的有五個組,其中有兩個組用的就是這個流程:先把數(shù)據(jù)從人身上捕捉,然后做一個粗的Retargeting,這個數(shù)據(jù)就變得跟機(jī)器人很像了,然后再做一個很細(xì)的Retargeting,但是是在仿真環(huán)境里的強(qiáng)化學(xué)習(xí),這個強(qiáng)化學(xué)習(xí)可以保證任務(wù)真的能完成。這個流程其實在24年12月份的時候已經(jīng)被好幾個組所驗證走通了。

但是這種超高精度的數(shù)據(jù)獲取非常昂貴,諾亦騰機(jī)器人(Noitom Robotics)在國內(nèi)的一個城市和海外的一個城市各建設(shè)了一個數(shù)據(jù)工廠,我的數(shù)據(jù)工廠是不采集遙操作數(shù)據(jù)的。它應(yīng)該是一個甲方行為,不應(yīng)該是個乙方行為。在數(shù)據(jù)工廠我們采了大量的數(shù)據(jù),服務(wù)業(yè)內(nèi)很多的伙伴。

以人為中心的數(shù)據(jù)采集,我們分成了工廠采(In-the-factory)和野采(In-the-wild)。無論是ITF還是ITW,數(shù)據(jù)獲取的方式有很多,但你需要不斷驗證。

諾亦騰機(jī)器人戴若犁:跳出遙操作,構(gòu)建以人為中心的數(shù)據(jù)路徑丨GAIR 2025

我是怎么判斷這么多不同的數(shù)據(jù)獲取的方式的?非常重要的一件事情就是:要知道每一層數(shù)據(jù)的第一性是什么?真機(jī)遙操數(shù)據(jù)的第一性,在于真,這是其他三層都沒有的。所以,你可以通過遙操作的數(shù)據(jù)學(xué)習(xí)pick and place,這其實同時是在學(xué)它的真機(jī)特性,而真機(jī)特性更重要,因為pick and place的技能策略、泛化性其它數(shù)據(jù)里面有。

Human-centric是中間的這兩層,第二層是超高精度,超全模態(tài),從工廠里采集的數(shù)據(jù)。第三層是野采(In-the-wild)的數(shù)據(jù),這兩層的第一性也是不同的:第二層的第一性是多維度或者全維度,多模態(tài)、高精度,要做到的是跨本體。所以我們希望在模態(tài)、維度、精度等所有方面要能比機(jī)器人的維度和模態(tài)都全,都強(qiáng),都高,這樣的話將來你映射的時候就是一個降采樣,不需要做一個升采樣。

比如機(jī)器人的視覺傳感器,是720P、雙目、50赫茲、卷簾快門,那你就要達(dá)到雙目、8K、120赫茲、全局快門。這樣將來降采樣還有的做,但要比他低的話,那就只能忍了,就得忍維度的損失,有模態(tài)的損失,everything。

第三層野采(In-the-wild)的第一性是視覺泛化性,要走到真實的環(huán)境中去追求視覺的泛化性。不要嘗試在任何數(shù)采工廠里面做遙操作,也不要嘗試去在工廠中搭建真實環(huán)境——你可以搭一個廁所,但主要的目的是為了避免數(shù)采員無實物表演,但你完全沒有必要去搭100個或更多的廁所,而是應(yīng)該in the wild。所以這一層的精度和維度就不太重要了,要舍棄一些東西。

通過這幾層數(shù)據(jù),我們可以真正把生意做起來,給行業(yè)帶來價值。要想清楚每一層該做啥,不應(yīng)該做啥,要學(xué)會舍棄。不然就像Sergey Levine的那篇文章里所諷刺的:“如果你是麥當(dāng)勞里的勺叉,不僅在喝湯的時候會漏,還叉不起來雞塊?!奔纫忠慕Y(jié)果就是個勺叉,咱不當(dāng)勺叉,咱們當(dāng)一個好用的叉子就行。

今天跟大家匯報了我們做的生意,也講了我們對于數(shù)據(jù)的一些觀點,我最后跟大家總結(jié)一下,諾亦騰機(jī)器人(Noitom Robotics)不是一家設(shè)備公司。我們賣設(shè)備,就是交個朋友,毛利不重要,價格不重要。大家需要的話就來找我們買設(shè)備,還可以給你們做系統(tǒng)集成,主要是大家開心就好。

諾亦騰機(jī)器人也不是一家項目公司,因為我們是一個數(shù)據(jù)公司,有自己的數(shù)據(jù)集,但我們有設(shè)備,也能做項目,如果你的項目足夠大的話,也歡迎大家跟我們聯(lián)系,我姓戴,戴若犁,謝謝大家。


雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。

分享:
相關(guān)文章
最新文章
請?zhí)顚懮暾埲速Y料
姓名
電話
郵箱
微信號
作品鏈接
個人簡介
為了您的賬戶安全,請驗證郵箱
您的郵箱還未驗證,完成可獲20積分喲!
請驗證您的郵箱
立即驗證
完善賬號信息
您的賬號已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄
立即設(shè)置 以后再說