原文鏈接：icra-research-robotics-simulation-to-real-world

原文作者：Katie Washabaugh

在國際機器人和自動化會議上，八篇新的英偉達研究論文展示了經(jīng)過模擬訓(xùn)練的機器人是如何進入現(xiàn)實世界的。

 

機器人技術(shù)正在進入一個新階段：從受控演示和腳本自動化轉(zhuǎn)向現(xiàn)實世界中可推廣、可靠的體現(xiàn)自主。

 

在國際機器人和自動化會議（ICRA）上，NVIDIA Research的28篇被接受的論文中有8篇展示了模擬到現(xiàn)實的傳輸如何成為這種轉(zhuǎn)變的基礎(chǔ)，幫助機器人在動態(tài)、不可預(yù)測的環(huán)境中感知、推理、計劃和行動。

 

這些論文共同涵蓋了機器人開發(fā)人員面臨的挑戰(zhàn)：并行協(xié)調(diào)多個手臂，構(gòu)建跨機器人身體通用的政策，在雜亂中抓住新事物，執(zhí)行精確的組裝，以及開發(fā)在移動前推理的視覺-語言-動作模型。

 

通道很清楚：sim-to-real正在成為機器人的基礎(chǔ)，這些機器人可以在實驗室外以更高的可靠性進行適應(yīng)、概括和操作。

 

Coordinating Arms, Navigating Bodies, Grasping Objects

 

想象一下一個由機械臂運行的制藥實驗室：拾取試管、轉(zhuǎn)移液體、混合試劑——每個步驟都需要不同的時間，都需要仔細協(xié)調(diào)。

 

傳統(tǒng)的機器人調(diào)度軟件按順序處理這些步驟，一次一個手臂。

 

ScheduleStream透過在GPU上執(zhí)行計算來改變這一點，讓多個手臂計劃移動並行操作。結(jié)果——在NVIDIA Jetson edge AI平臺等硬件上，跨多臂規(guī)劃場景加快了3倍的速度?？蚣艿拇a可以在GitHub上找到。

 

一個學習在空間中導(dǎo)航的機器人——避開障礙物并找到目的地——通常學會在一個身體中做到這一點。將相同的導(dǎo)航軟件放入形狀不同的機器人中，它經(jīng)常會散架，因為它的部件都以不同的方式移動。

 

COMPASS政策框架通過首先使用模仿學習構(gòu)建基線導(dǎo)航功能，然后使用NVIDIA Isaac Lab中的剩余強化學習來為各種機器人實現(xiàn)構(gòu)建專家來解決這個問題。至關(guān)重要的是，任何階段都不涉及現(xiàn)實世界的機器人數(shù)據(jù)：一切都在Isaac Lab模擬中進行訓(xùn)練。

 

與模仿學習基線相比，COMPASS的平均成功率提高了4.5倍。它還無縫傳輸?shù)浆F(xiàn)實世界環(huán)境，在自主移動機器人和人形的20次現(xiàn)實世界導(dǎo)航試驗中展示了約80%的成功。

 

COMPASS對代理友好，具有專門的技能——開發(fā)人員可以將管道與NVIDIA Omniverse NuRec連接起來，以便在部署前在新環(huán)境的數(shù)字孿生中對機器人進行后訓(xùn)練和驗證。

 

大多數(shù)抓取系統(tǒng)識別對象，預(yù)測抓取，規(guī)劃路徑，然后執(zhí)行。但最后幾厘米是小錯誤最重要的地方。

 

Grasp-MPC自適應(yīng)地計算機器人抓取，在機器人靠近物體時不斷糾正其運動，而不是執(zhí)行固定計劃——一個人通過感覺而不是提前計算每個關(guān)節(jié)角度來抓取東西的方式。

 

為了制定該政策，研究人員使用GraspGen數(shù)據(jù)集的注釋和來自cuRobo（用于機器人運動生成的CUDA加速庫）的運動規(guī)劃數(shù)據(jù)，在8000個物體上生成了200萬個物體的模擬軌跡。

 

在對成功和失敗軌跡進行培訓(xùn)后，Grasp-MPC學會了在雜亂的桌面和架子上掌握新穎的物體——在真實機器人上取得了約75%的總體成功率，而基線為41%。

 

可變形聚類操作引入了一個框架，該框架應(yīng)對了一個平行挑戰(zhàn)：使系統(tǒng)能夠同時抓取整個靈活、糾結(jié)的材料，而不僅僅是一個對象。

 

該框架的動機是一個現(xiàn)實世界的任務(wù)：清除生長在電力線上的大量樹枝，那里沒有干凈的物體可以抓住。系統(tǒng)使用整個手臂，而不僅僅是抓手：將其纏繞在分支集群上，然后將其掃到一邊，就像有人可能會收集一臂的電纜或?qū)⒓m結(jié)的刷子推開的方式。

 

研究人員使用生物生長方程構(gòu)建了一個樹生成器，以創(chuàng)建許多不同形狀和大小的合成樹——然后在NVIDIA Isaac開放模擬框架中訓(xùn)練了數(shù)千棵樹的系統(tǒng)。

 

該政策部署到真正的分支零射擊。除了電力線之外，研究人員還看到了電纜管理、農(nóng)業(yè)檢查以及機器人需要處理糾結(jié)而不是單個可抓取物品的任何地方的潛力。

在零射擊模擬到真實部署中清除樹枝。

 

Assembling With Precision

 

精確的組裝——將螺母穿入螺栓上，將齒輪插入齒輪軸，將釘子壓入孔中——僅通過模擬是出了名的難。

 

現(xiàn)實世界是復(fù)雜的。真正的表面并不完美光滑。傳感器的行為不按規(guī)定進行。模擬器忽略的微小差異可能會阻止機器人的腳步。

 

SPARR方法通過將工作一分為二來解決這一問題。在Isaac Lab中訓(xùn)練的策略學習模擬中組裝任務(wù)的一般策略。然后，在實際硬件上，第二層學會糾正模擬器出錯的任何東西——使用機器人自己的相機，無需任何人類演示或指導(dǎo)。

 

與零射擊模擬到真實基線相比，SPARR的成功率提高了38%，周期時間縮短了約30%。

 

在培訓(xùn)期間沒有看到的國家標準與技術(shù)研究所（NIST）組裝任務(wù)上，成功率提高了近75%——接近需要人工參與的方法的結(jié)果。

 

煉油廠框架在裝配中具有下一層難度：具有多個順序步驟的任務(wù)，其中第一步的完成程度決定了第二步是否可能。這就像組裝家具一樣——將面板放在錯誤的角度，下一個緊固件就進不去。

 

通過了解成功如何因初始條件而異，以及數(shù)百個模擬組裝場景中的培訓(xùn)，煉油廠學習如何完成每個步驟，并將每個組件留在下一個設(shè)置的位置。與現(xiàn)實世界結(jié)果相當可比的基線相比，它實現(xiàn)了91%的模擬成功率和近11%的平均改進——其政策可以串聯(lián)在一起處理冗長的多部分序列。

 

Action Models That Keep Their Word

 

PEEK管道幫助機器人看到雜亂無章的東西。在典型的操作任務(wù)中，機器人的相機會捕捉到場景中的所有內(nèi)容——但其中大部分是無關(guān)緊要的噪音。

 

PEEK項目頁面上展示的一項任務(wù)是“把香蕉交給英偉達創(chuàng)始人兼首席執(zhí)行官黃仁”：一張黃的照片與邁克爾·喬丹的照片一起放在桌子上，這是一組不相關(guān)的物體和其他分散注意力的東西。

 

完成任務(wù)的人立即專注於香蕉和正確的照片；標準的機器人政策必須處理一切，並且經(jīng)常感到困惑。PEEK通過讓視覺語言模型讀取任務(wù)指令并相應(yīng)地聚焦機器人的視線來解決這個問題——顯示運動路徑，并突出顯示重要物體周圍，同時淡化其他一切。

 

然后，該政策根據(jù)注釋的觀點行事，而不是原始場景。對于純粹在模擬中訓(xùn)練的政策，添加PEEK的準確性比現(xiàn)實世界提高了41倍。對于大型VLA模型和較小的政策，收益范圍為2-3.5倍。由于它在圖像級別工作，PEEK無需修改即可與任何基于相機的策略集成。

 

言出所力——與卡內(nèi)基梅隆大學、猶他大學和悉尼大學的研究人員合作——解決了機器人處理更長、更復(fù)雜的任務(wù)時更重要的特定故障模式。

 

給機器人一個指令，比如“把所有東西都放在柜子里的這個桌子上”或“準備曼哈頓”，它必須將其分解成單獨的步驟，并按順序執(zhí)行它們。

 

問題是，人工智能模型可以正確推理它需要做的事情——然后執(zhí)行一些不同的東西。

 

這種稱為SEAL的方法在運行時修復(fù)了這一點，無需任何再訓(xùn)練：機器人生成幾個候選動作序列，思考每個動作序列實際上會引導(dǎo)到哪里，并選擇與它所說的結(jié)果相匹配的結(jié)果。與之前的工作相比，SEAL提供了高達15%的精度提升，對改寫指令、更改對象、場景雜亂和移動相機角度具有穩(wěn)健性。

 

除了論文之外，英偉達還通過機器人的大規(guī)模開放數(shù)據(jù)集擴展機器人研究基礎(chǔ)設(shè)施。NVIDIA物理人工智能數(shù)據(jù)集是世界上最大的物理開發(fā)開放數(shù)據(jù)集，下載量超過1500萬次，而NVIDIA Isaac GR00T X Embodiment Sim已成為下載量最大的機器人數(shù)據(jù)集之一。

 

 

雷峰網(wǎng)(公眾號：雷峰網(wǎng))