劃重點(diǎn)
01李飛飛團(tuán)隊(duì)提出了一種名為“數(shù)字表親”的新方法,以降低真實(shí)到模擬生成的成本并提高學(xué)習(xí)的普遍性。
02數(shù)字表親是一種虛擬資產(chǎn),不明確模擬現(xiàn)實(shí)世界的對應(yīng)物,但能捕獲相似的幾何和語義功能。
03為此,論文引入了一種自動創(chuàng)建數(shù)字表親(Automatic Creation of Digital Cousins,ACDC)的新方法,實(shí)現(xiàn)從真實(shí)到模擬再到真實(shí)的流程。
04實(shí)驗(yàn)結(jié)果顯示,ACDC生成的數(shù)字表親場景能夠保留幾何和語義功能,訓(xùn)練出的策略優(yōu)于數(shù)字孿生(90% vs. 25%),且可通過零樣本學(xué)習(xí)直接部署在原始場景中。
以上內(nèi)容由騰訊混元大模型生成,僅供參考
新智元報(bào)道
編輯:編輯部 HXZ
【新智元導(dǎo)讀】在用模擬環(huán)境訓(xùn)練機(jī)器人時(shí),所用的數(shù)據(jù)與真實(shí)世界存在著巨大的差異。為此,李飛飛團(tuán)隊(duì)提出「數(shù)字表親」,這種虛擬資產(chǎn)既具備數(shù)字孿生的優(yōu)勢,還能補(bǔ)足泛化能力的不足,并大大降低了成本。
如何有效地將真實(shí)數(shù)據(jù)擴(kuò)展到模擬數(shù)據(jù),進(jìn)行機(jī)器人學(xué)習(xí)?
最近,李飛飛團(tuán)隊(duì)提出一種「數(shù)字表親」的新方法,可以同時(shí)降低真實(shí)到模擬生成的成本,同時(shí)提高學(xué)習(xí)的普遍性。
目前,論文已被CORL2024接收。
你可能會問,什么是「數(shù)字表親」,有啥用呢?
讓我們把它跟數(shù)字孿生比較一下。
的確,數(shù)字孿生可以準(zhǔn)確地對場景進(jìn)行建模,然而它的生成成本實(shí)在太昂了,而且還無法提供泛化功能。
而另一方面,數(shù)字表親雖然沒有直接模擬現(xiàn)實(shí)世界的對應(yīng)物,卻仍然能夠捕獲相似的幾何和語義功能。
這樣,它就大大降低了生成類似虛擬環(huán)境的成本,同時(shí)通過提供類似訓(xùn)練場景的分布,提高了從模擬到真實(shí)域遷移的魯棒性。
共同一作Tianyuan Dai表示,既然有免費(fèi)的「數(shù)字表親」了,何必再去手工設(shè)計(jì)數(shù)字孿生?
亮眼的是,「數(shù)字表親」能同時(shí)實(shí)現(xiàn)
單幅圖像變成交互式場景
全自動(無需注釋)
機(jī)器人策略在原始場景中的零樣本部署
簡單拍一張照片,就能搞定了
模擬數(shù)據(jù)難題:與現(xiàn)實(shí)環(huán)境差異過大
在現(xiàn)實(shí)世界中訓(xùn)練機(jī)器人,存在策略不安全、成本高昂、難以擴(kuò)展等問題;相比之下,模擬數(shù)據(jù)是一種廉價(jià)且潛在無限的訓(xùn)練數(shù)據(jù)來源。
然而,模擬數(shù)據(jù)存在一個(gè)難以忽視的問題與現(xiàn)實(shí)環(huán)境之間的語義和物理差異。
這些差異可以通過在數(shù)字孿生中進(jìn)行訓(xùn)練來最小化,但數(shù)字孿生作為真實(shí)場景的虛擬復(fù)制品,同樣成本高昂且無法跨域泛化。
正是為了解決這些限制,論文提出了「數(shù)字表親」(digital cousion)的概念。
「數(shù)字表親」是一種虛擬資產(chǎn)或場景,與數(shù)字孿生不同,它不明確模擬現(xiàn)實(shí)世界的對應(yīng)物,但仍然展現(xiàn)類似的幾何和語義功能。
因此,數(shù)字表親既具備了數(shù)字孿生的優(yōu)勢,能夠補(bǔ)足現(xiàn)實(shí)數(shù)據(jù)的不足,同時(shí)降低了生成類似虛擬環(huán)境的成本,并能更好地促進(jìn)跨域泛化。
具體而言,論文引入了一種自動創(chuàng)建數(shù)字表親(Automatic Creation of Digital Cousins,ACDC)的新方法,并提出了一個(gè)完全自動化的,從真實(shí)到模擬再到真實(shí)的流程,用于生成交互式場景和訓(xùn)練策略。
實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),ACDC生成的數(shù)字表親場景能夠保留幾何和語義功能,訓(xùn)練出的策略也優(yōu)于數(shù)字孿生(90% vs. 25%),而且可以通過零樣本學(xué)習(xí)直接部署在原始場景中。
方法概述
與數(shù)字孿生不同,數(shù)字表親并不苛求在所有微小細(xì)節(jié)上都要重建給定場景,而是專注于保留更高級別的細(xì)節(jié),例如空間關(guān)系和語義。
ACDC是一個(gè)完全自動化的端到端流程,從單個(gè)RGB圖像生成完全交互式的模擬場景,由三個(gè)連續(xù)步驟組成:
信息提。菏紫龋瑥妮斎氲腞GB圖像中提取對象信息。
數(shù)字表親匹配:利用第一步提取的信息,結(jié)合預(yù)先準(zhǔn)備的3D模型資產(chǎn)數(shù)據(jù)集,為檢測到的每個(gè)對象匹配相應(yīng)的數(shù)字表親。
場景生成:對選擇的數(shù)字表親進(jìn)行后處理并編譯在一起,生成一個(gè)物理上合理且完全交互式的模擬場景。
通過這三個(gè)步驟,ACDC能夠自動創(chuàng)建與輸入圖像語義相似但不完全相同的虛擬場景,為機(jī)器人策略訓(xùn)練提供多樣化的環(huán)境。
結(jié)論
最終,研究者得出了以下結(jié)論。
ACDC是一個(gè)全自動化管線,能夠快速生成與單張真實(shí)世界RGB圖像相對應(yīng)的完全交互式數(shù)字表親場景。
研究發(fā)現(xiàn):
1. 魯棒性
在這些數(shù)字表親設(shè)置上訓(xùn)練的策略,比在數(shù)字孿生上訓(xùn)練的策略表現(xiàn)出更強(qiáng)的魯棒性。
為了進(jìn)一步檢查數(shù)字表親對樸素域隨機(jī)化的相對影響,研究者根據(jù)其他基線在 DoorOpening任務(wù)上重新運(yùn)行了sim2sim實(shí)驗(yàn)
2. 性能對比
領(lǐng)域內(nèi)性能:數(shù)字表親訓(xùn)練的策略與數(shù)字孿生訓(xùn)練的策略相當(dāng)。
領(lǐng)域外泛化:數(shù)字表親訓(xùn)練的策略展現(xiàn)出優(yōu)越的領(lǐng)域外泛化能力。
3. 零樣本學(xué)習(xí)
數(shù)字表親訓(xùn)練的策略能夠?qū)崿F(xiàn)零樣本從模擬到現(xiàn)實(shí)的策略遷移。
作者介紹
TianyuanDai
Tianyuan Dai本科畢業(yè)于香港科技大學(xué),獲得了計(jì)算機(jī)科學(xué)和數(shù)學(xué)學(xué)士學(xué)位,目前在斯坦福攻讀碩士學(xué)位,隸屬于斯坦福SVL實(shí)驗(yàn)室(Vision and Learning Lab)和PAIR研究小組(People, AI & Robots Group),由李飛飛指導(dǎo)。
他的長期愿景是將人類對現(xiàn)實(shí)世界環(huán)境的理解融入到機(jī)器人算法中,使用數(shù)據(jù)驅(qū)動的方法幫助人們完成日常任務(wù);最近研究的重點(diǎn)是開發(fā)real2sim2real范式,以實(shí)現(xiàn)穩(wěn)健的操控策略學(xué)習(xí)(manipulation policy learning)。
Josiah Wong
Josiah Wong目前在斯坦福大學(xué)攻讀機(jī)械工程博士學(xué)位,導(dǎo)師是李飛飛,同樣在SVL和PAIR組工作。
此前,他在斯坦福大學(xué)獲得碩士學(xué)位,在加利福尼亞大學(xué)圣迭戈分校獲得學(xué)士學(xué)位。
他致力于利用仿真技術(shù)來拓展機(jī)器人操作能力,目標(biāo)是推動日常通用機(jī)器人的發(fā)展,從而改善我們的日常生活。