上海交大王賀升教授：從畫地圖到預(yù)測(cè)未來，傳統(tǒng) SLAM 正走出靜態(tài)世界 | ICRA 2026

本文作者：梁丙鑒

2026-06-03 16:40

導(dǎo)語：動(dòng)態(tài)、語義、可變性環(huán)境，SLAM 如何從建圖走向預(yù)測(cè)？

雷峰網(wǎng)訊 2026 年 6 月 1 日，國際機(jī)器人與自動(dòng)化會(huì)議（ICRA）在奧地利維也納召開。次日上午的自動(dòng)駕駛與導(dǎo)航報(bào)告環(huán)節(jié)，雷峰網(wǎng)GAIR 2021大會(huì)嘉賓、上海交通大學(xué)教授王賀升發(fā)表了題為《Learning to Navigate: From Scene Understanding to Decision Makin》的演講。

找到自己的位置，并理解周圍環(huán)境，一直是機(jī)器人能夠落地的先決條件。此前的導(dǎo)航系統(tǒng)大多建立在”環(huán)境靜止、結(jié)構(gòu)穩(wěn)定”的假設(shè)之上，但隨著具身智能從實(shí)驗(yàn)室走向真實(shí)場(chǎng)景，現(xiàn)實(shí)世界的動(dòng)態(tài)變化讓傳統(tǒng) SLAM（同步定位與建圖）逐漸迫近天花板，無力應(yīng)對(duì)自動(dòng)駕駛中的車輛行人，或是手術(shù)機(jī)器人面前多變的人體組織。運(yùn)動(dòng)、遮擋甚至形變問題，是新一代 SLAM 需要解決的全新問題。

圍繞這一挑戰(zhàn)，王賀升教授系統(tǒng)介紹了從感知、建圖、定位到規(guī)劃的完整技術(shù)路線。在感知層面，研究團(tuán)隊(duì)提出結(jié)合激光雷達(dá)與視覺傳感器進(jìn)行多模態(tài)融合，并通過光流、場(chǎng)景流和四維重建技術(shù)理解動(dòng)態(tài)環(huán)境的方案，在建圖層面，則提出通過動(dòng)態(tài) Gaussian SLAM 和可變形三維高斯地圖，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)和可變形環(huán)境的持續(xù)建模。王賀升教授特別提到，“人體這種非?？勺冃蔚沫h(huán)境”是當(dāng)前研究主要的對(duì)象，以期解決手術(shù)機(jī)器人場(chǎng)景中的定位與建圖難題。

此外，針對(duì)具身智能普遍缺乏長(zhǎng)期記憶和環(huán)境理解能力的問題，團(tuán)隊(duì)還嘗試引入 NeRF 記憶機(jī)制以及視覺語言模型推理能力，讓機(jī)器人不僅知道“自己在哪里”，還能利用歷史經(jīng)驗(yàn)和語義關(guān)系輔助導(dǎo)航?jīng)Q策。

據(jù)王賀升教授介紹，相關(guān)技術(shù)已在礦卡、倉儲(chǔ)機(jī)器人、自動(dòng)泊車、移動(dòng)通信平臺(tái)和割草機(jī)器人等場(chǎng)景中落地應(yīng)用?？梢钥吹?，面對(duì)真實(shí)世界中的動(dòng)態(tài)變化、復(fù)雜語義和環(huán)境形變等挑戰(zhàn)，機(jī)器人導(dǎo)航正從傳統(tǒng) SLAM 走向融合世界模型、大模型推理與可變形環(huán)境感知的具身智能基礎(chǔ)設(shè)施。

以下是王賀升在 ICRA 2026 大會(huì)發(fā)表的演講精編稿，AI 科技評(píng)論基于原英文演講內(nèi)容進(jìn)行了不改原意的翻譯編輯：

《Learning to Navigate: From Scene Understanding to Decision Makin》

主講人：王賀升（Hesheng Wang），上海交通大學(xué)

上海交大王賀升教授：從畫地圖到預(yù)測(cè)未來，傳統(tǒng) SLAM 正走出靜態(tài)世界 | ICRA 2026

學(xué)習(xí)導(dǎo)航：從場(chǎng)景理解到?jīng)Q策制定

大家早上好。很榮幸向大家介紹我們最近的一些研究工作。我的研究方向主要是機(jī)器人導(dǎo)航與操作，今天的報(bào)告將重點(diǎn)聚焦于導(dǎo)航部分。

正如大家所了解的那樣，近年來移動(dòng)機(jī)器人平臺(tái)的種類越來越豐富，機(jī)器人導(dǎo)航技術(shù)已經(jīng)廣泛應(yīng)用于物流機(jī)器人、自動(dòng)駕駛、家庭機(jī)器人，甚至手術(shù)機(jī)器人等場(chǎng)景。

今天我將介紹機(jī)器人導(dǎo)航中的一些核心技術(shù)。首先是里程計(jì)部分，機(jī)器人利用傳感器估計(jì)自身位姿，隨后考慮動(dòng)態(tài)環(huán)境中的運(yùn)動(dòng)目標(biāo)，同時(shí)考慮語義信息以及環(huán)境可變形的情況。在構(gòu)建系統(tǒng)之后，我們會(huì)獲得全局地圖，然后基于全局地圖進(jìn)行定位，最后完成路徑規(guī)劃。下面我將依次介紹這些內(nèi)容。

首先介紹里程計(jì)部分。

我們同時(shí)考慮了激光雷達(dá)傳感器和視覺傳感器兩類數(shù)據(jù)。首先是將激光雷達(dá)點(diǎn)云投影到標(biāo)準(zhǔn)鳥瞰圖平面。由于我們已知激光雷達(dá)坐標(biāo)系與相機(jī)坐標(biāo)系之間的外參，因此可以將三維激光雷達(dá)點(diǎn)投影到圖像平面上。獲得這些三維投影點(diǎn)的中心點(diǎn)，并對(duì)圖像中的特征進(jìn)行聚類，提取兩類不同特征之后，接著我們采用一種稱為 Local-to-Global 的特征融合網(wǎng)絡(luò)，對(duì)這兩類特征進(jìn)行融合，最終得到全局特征表示。

在此基礎(chǔ)上，就可以通過位姿解碼器獲得初始位姿估計(jì)。之后進(jìn)一步進(jìn)行優(yōu)化，我們采用類似于 RANSAC 的思路，通過迭代方式逐步精煉結(jié)果，最終獲得精確的位姿估計(jì)。

接下來考慮動(dòng)態(tài)場(chǎng)景。我們的研究工作從二維擴(kuò)展到三維，再進(jìn)一步擴(kuò)展到四維表示。

在二維場(chǎng)景中，我們首先研究光流估計(jì)，因?yàn)樗沁\(yùn)動(dòng)估計(jì)中的關(guān)鍵算法之一，隨后擴(kuò)展到三維場(chǎng)景流估計(jì)，進(jìn)一步研究四維重建，最終實(shí)現(xiàn)四維建圖與 SLAM。

對(duì)于二維光流估計(jì)，我們首先使用 Memory Bank 存儲(chǔ)歷史光流信息，然后利用連續(xù)性約束預(yù)測(cè)下一時(shí)刻的光流。結(jié)合當(dāng)前圖像，通過基于 DRU 的網(wǎng)絡(luò)進(jìn)行優(yōu)化。在多尺度設(shè)置下，我們采用尺度為 4 和 2 的特征表示，并結(jié)合 Transformer 結(jié)構(gòu)進(jìn)一步優(yōu)化光流估計(jì)結(jié)果。最終將更新后的結(jié)果重新寫入 Memory Bank。

我們?cè)?nuScenes、Waymo 等數(shù)據(jù)集上進(jìn)行了驗(yàn)證。即使模型沒有在這些數(shù)據(jù)集上進(jìn)行訓(xùn)練，結(jié)果顯示依然具備了較強(qiáng)的零樣本泛化能力，并取得了較好的性能。

下一步是三維場(chǎng)景流估計(jì)，整體采用兩階段框架。第一階段利用兩幀點(diǎn)云直接進(jìn)行粗略場(chǎng)景流估計(jì)，第二階段利用生成式擴(kuò)散模型進(jìn)行精細(xì)優(yōu)化。

這里我們將幾何特征、流特征嵌入以及代價(jià)體作為條件信號(hào)，用于控制擴(kuò)散模型輸出結(jié)果的多樣性，最終得到精煉后的場(chǎng)景流估計(jì)結(jié)果。

隨后我們將估計(jì)得到的場(chǎng)景流作為監(jiān)督信號(hào)，進(jìn)一步監(jiān)控和優(yōu)化流估計(jì)過程，并將結(jié)果輸入到四維混合表示（4D Hybrid Representation）中，利用 Neural Rendering 技術(shù)完成動(dòng)態(tài)場(chǎng)景重建。

接下來進(jìn)一步研究動(dòng)態(tài)場(chǎng)景 SLAM。我們同時(shí)對(duì)前景和背景進(jìn)行建圖。對(duì)于背景部分，采用傳統(tǒng)三維高斯表示方法，利用 Gaussian SLAM 完成背景建圖。

對(duì)于前景部分，我們考慮了兩類對(duì)象。第一類是非剛體目標(biāo)，例如人類和動(dòng)物。我們?cè)O(shè)計(jì)了可變形高斯網(wǎng)絡(luò)，在人體動(dòng)力學(xué)約束下預(yù)測(cè)人體的位置、姿態(tài)和朝向，這里采用 FMPTL 框架約束人體運(yùn)動(dòng)規(guī)律。對(duì)于剛體目標(biāo)，則利用檢測(cè)結(jié)果和光流信息估計(jì)連續(xù)運(yùn)動(dòng)狀態(tài)。

在完成前景和背景重建之后，我們進(jìn)一步進(jìn)行當(dāng)前幀定位。

此外，由于背景部分采用了三維高斯表示，因此可以進(jìn)行渲染，獲得二維觀測(cè)中心，同時(shí)投影三維高斯中心后獲得幾何中心，這兩類中心可以共同作為相機(jī)位姿估計(jì)約束。

由于連續(xù)幀之間存在運(yùn)動(dòng)關(guān)系，因此可以計(jì)算光流向量，同時(shí)我們將三維高斯中心投影到圖像平面后，也會(huì)形成對(duì)應(yīng)向量。通過最小化這兩類向量之間的誤差，即重投影誤差（Reprojection Error），對(duì)相機(jī)位姿進(jìn)行優(yōu)化，從而獲得更精確的定位結(jié)果。

接下來，就是構(gòu)建完整地圖。由于系統(tǒng)中存在大量局部地圖，因此需要進(jìn)行統(tǒng)一優(yōu)化。我們引入了兩類約束：一類是幾何約束，另一類是一致性約束。通過聯(lián)合優(yōu)化，最終獲得完整的三維高斯地圖。

這里展示的是 Gaussian SLAM 的結(jié)果。

系統(tǒng)不僅恢復(fù)了相機(jī)軌跡，同時(shí)還恢復(fù)了人體運(yùn)動(dòng)軌跡。

不過一個(gè)問題是，高斯表示占用較多存儲(chǔ)空間，計(jì)算效率也較低。為了解決這一問題，我們進(jìn)一步設(shè)計(jì)了緊湊型三維高斯 SLAM。

首先采用體素化方式組織高斯表示，然后設(shè)計(jì)滑動(dòng)窗口機(jī)制，去除三維高斯表示中的冗余信息，同時(shí)引入 3D Gaussian ICP Loss，作為全局 Bundle Adjustment 的約束項(xiàng)，最后利用殘差向量?jī)?yōu)化（Residual Vector Optimization）進(jìn)一步壓縮三維高斯存儲(chǔ)。

實(shí)驗(yàn)結(jié)果表明，系統(tǒng)運(yùn)行速度能夠提升約一倍，同時(shí)顯著提高整體效率，實(shí)現(xiàn)接近實(shí)時(shí)運(yùn)行。

下一步我們考慮語義 SLAM。在導(dǎo)航任務(wù)中，語義信息同樣非常重要，因此我們將語義信息引入系統(tǒng)。

首先提取幾何特征、外觀特征以及語義特征，然后利用 Attention 機(jī)制進(jìn)行特征融合，實(shí)現(xiàn)語義場(chǎng)景表示。在語義 SLAM 中，我們采用從粗到細(xì)（Coarse-to-Fine）的層次化框架。粗層級(jí)主要關(guān)注整體結(jié)構(gòu)和語義信息，細(xì)層級(jí)進(jìn)一步引入顏色信息、邊界信息等更細(xì)粒度特征，最后通過構(gòu)建層次圖并進(jìn)行圖優(yōu)化，實(shí)現(xiàn)完整語義 SLAM 系統(tǒng)。

這里展示了 RGB-D 數(shù)據(jù)和語義信息融合后的結(jié)果?？梢钥吹?，不同語義類別之間具有非常清晰的邊界。

另一個(gè)具有挑戰(zhàn)性的問題是：如果背景本身也是可變形的，那么特征跟蹤和對(duì)應(yīng)關(guān)系建立都會(huì)變得非常困難。為了解決這一問題，我們提出了可變形三維高斯地圖（Deformable 3D Gaussian Map）。

首先定義可變形體元（Deformable Primitives），我們采用不同顏色表示對(duì)象的不同屬性，例如剛體、半剛體或完全可變形物體。隨后定義時(shí)變形變場(chǎng)（Temporal Deformation Field），利用基函數(shù)和權(quán)重表示形變特征。

三維高斯被輸入到形變場(chǎng)后，可以根據(jù)形變信息改變其形狀和顏色。當(dāng)輸入二維 RGB-D 圖像時(shí)，由于地圖是可變形的，其中部分區(qū)域變化非常劇烈，這些區(qū)域難以作為穩(wěn)定定位依據(jù)。因此，我們基于所構(gòu)建的地圖計(jì)算連續(xù)性地圖（Continuity Map），并利用其進(jìn)行相機(jī)位姿優(yōu)化，同時(shí)不斷更新地圖中的相關(guān)參數(shù)。

完成關(guān)鍵幀定位之后，后續(xù)流程與傳統(tǒng) SLAM 類似，但額外考慮了形變概率因素，從而最終完成整體建圖。尤其在手術(shù)機(jī)器人場(chǎng)景中，這種系統(tǒng)能夠有效應(yīng)對(duì)高度可變形環(huán)境。

在構(gòu)建地圖之后，另一個(gè)關(guān)鍵問題是如何利用地圖進(jìn)行定位。

建圖時(shí)，我們可以獲得包含豐富三維信息的高精度地圖；但實(shí)際部署時(shí)，可能只有一個(gè)廉價(jià)攝像頭，只能獲取二維圖像。因此問題變成了二維到三維的跨模態(tài)定位（Cross-modal Localization）。

我們首先提取圖像和點(diǎn)云特征，然后建立二維到三維對(duì)應(yīng)關(guān)系。具體來說，先將三維點(diǎn)投影到圖像平面，再建立與鄰近圖像特征之間的關(guān)聯(lián)。由于這些區(qū)域已經(jīng)與對(duì)應(yīng)特征建立關(guān)聯(lián)，因此進(jìn)一步結(jié)合鄰域點(diǎn)特征進(jìn)行特征聚合，最終獲得穩(wěn)定的二維—三維關(guān)聯(lián)關(guān)系。之后利用魯棒匹配機(jī)制去除噪聲，再通過位姿回歸（Pose Regression）獲得三維定位結(jié)果。

實(shí)驗(yàn)表明，該方法能夠?qū)崿F(xiàn)非常高的定位精度，同時(shí)具備實(shí)時(shí)性能，每幀推理時(shí)間僅為 14 毫秒。

最后介紹規(guī)劃部分。

在人類進(jìn)行導(dǎo)航時(shí)，通常會(huì)利用記憶記住關(guān)鍵幀或關(guān)鍵地點(diǎn)。當(dāng)遇到從未經(jīng)歷過的場(chǎng)景時(shí)，也會(huì)利用已有經(jīng)驗(yàn)進(jìn)行推理，判斷下一步應(yīng)該如何行動(dòng)。

對(duì)于記憶模塊，我們利用 NeRF 存儲(chǔ)關(guān)鍵幀信息，并建立檢索機(jī)制。系統(tǒng)會(huì)重點(diǎn)關(guān)注記憶中的相關(guān)內(nèi)容。如果當(dāng)前場(chǎng)景與過去見過的場(chǎng)景相似，那么系統(tǒng)會(huì)更多依賴歷史經(jīng)驗(yàn)進(jìn)行決策，這樣能夠提高導(dǎo)航效率。如果某一區(qū)域已經(jīng)探索過，并且目標(biāo)位置曾經(jīng)出現(xiàn)過，那么機(jī)器人就能夠更直接地向目標(biāo)方向移動(dòng)。

同時(shí)，我們也嘗試引入推理能力。例如利用大型視覺語言模型理解圖像內(nèi)容，建立語義關(guān)系圖譜。對(duì)于每一幀觀測(cè)信息，都存儲(chǔ)到記憶模塊中。

整個(gè)系統(tǒng)采用雙層圖結(jié)構(gòu)。系統(tǒng)學(xué)習(xí)對(duì)象之間的關(guān)聯(lián)規(guī)則和關(guān)系，并完成關(guān)系綁定。

這里展示了系統(tǒng)的工作過程。有時(shí)候兩個(gè)目標(biāo)在視覺上看似無關(guān)，但借助大語言模型，系統(tǒng)能夠理解它們之間存在潛在聯(lián)系，因此會(huì)更加關(guān)注相關(guān)目標(biāo)。這種推理能力同樣能夠幫助導(dǎo)航?jīng)Q策。

最后我介紹幾個(gè)商業(yè)化應(yīng)用案例。

首先，我們?yōu)榈V卡設(shè)計(jì)了導(dǎo)航系統(tǒng)，目前已經(jīng)穩(wěn)定運(yùn)行超過一年，能夠在復(fù)雜礦區(qū)環(huán)境中自主導(dǎo)航。在倉儲(chǔ)場(chǎng)景中，我們開發(fā)了適用于動(dòng)態(tài)變化環(huán)境的清潔機(jī)器人。由于貨物和設(shè)備持續(xù)變化，因此導(dǎo)航系統(tǒng)需要不斷適應(yīng)環(huán)境變化。

在自動(dòng)泊車場(chǎng)景中，高精度地圖信息同樣十分重要，以支持車輛自主導(dǎo)航。此外，我們還結(jié)合移動(dòng)平臺(tái)和移動(dòng)通信平臺(tái)開展相關(guān)應(yīng)用，地圖信息和導(dǎo)航定位信息對(duì)于通信設(shè)備精準(zhǔn)部署至關(guān)重要。

在割草機(jī)器人（Lawn Mower Robot）場(chǎng)景中，機(jī)器人通常需要在非常大的開放區(qū)域工作。此時(shí)定位誤差容易積累，同時(shí)需要進(jìn)行地圖匹配，系統(tǒng)需要判斷邊界位置，并識(shí)別運(yùn)動(dòng)目標(biāo)等需要重點(diǎn)關(guān)注的區(qū)域。

以上就是我們近期在 SLAM 領(lǐng)域的一些研究工作。

展望未來，我們將進(jìn)一步關(guān)注世界模型與環(huán)境建模，希望能夠預(yù)測(cè)長(zhǎng)時(shí)間序列中未來將發(fā)生的情況。同時(shí)，感知、規(guī)劃與決策之間是緊密耦合的。一個(gè)很小的感知誤差，最終可能導(dǎo)致非常大的決策誤差，因此需要聯(lián)合考慮這些問題。

此外，還需要解決長(zhǎng)期任務(wù)中的復(fù)雜決策問題。決策過程應(yīng)基于完整序列進(jìn)行，而不僅僅是即時(shí)反應(yīng)式?jīng)Q策。

更重要的是，所有系統(tǒng)最終都必須在真實(shí)世界中運(yùn)行。真實(shí)世界是不可預(yù)測(cè)的，因此我們需要面對(duì)大量邊緣案例和各種復(fù)雜問題。

我的報(bào)告就到這里，謝謝大家。

Q&A 問答環(huán)節(jié)

提問：您的報(bào)告中關(guān)于可變形 SLAM 的部分非常有意思。請(qǐng)問你們是否嘗試過在室外農(nóng)業(yè)環(huán)境中運(yùn)行這套系統(tǒng)？例如樹葉會(huì)持續(xù)擺動(dòng)變形，而傳統(tǒng) SLAM 算法在這類環(huán)境中的定位效果通常較差。

王賀升：這是一個(gè)非常好的問題。目前我們還沒有嘗試過這樣的場(chǎng)景。我們當(dāng)前主要面向手術(shù)機(jī)器人開展研究，因?yàn)樵谑中g(shù)過程中，人體組織本身就是高度可變形的環(huán)境。

你提到的樹葉等農(nóng)業(yè)場(chǎng)景其實(shí)也非常有趣，我認(rèn)為與我們當(dāng)前研究的問題具有一定相似性，因?yàn)樗鼈兺瑯訒?huì)持續(xù)發(fā)生形變。我們目前也有一些相關(guān)想法，希望能夠利用連續(xù)性地圖進(jìn)行建圖。不過具體在真實(shí)農(nóng)業(yè)場(chǎng)景中應(yīng)用時(shí)會(huì)遇到什么問題，目前我還不確定，未來我們會(huì)嘗試驗(yàn)證這一方向。