劃重點
01李飛飛團隊提出了一種名為“數(shù)字表親”的新方法，以降低真實到模擬生成的成本并提高學習的普遍性。
02數(shù)字表親是一種虛擬資產(chǎn)，不明確模擬現(xiàn)實世界的對應物，但能捕獲相似的幾何和語義功能。
03為此，論文引入了一種自動創(chuàng)建數(shù)字表親(Automatic Creation of Digital Cousins，ACDC)的新方法，實現(xiàn)從真實到模擬再到真實的流程。
04實驗結(jié)果顯示，ACDC生成的數(shù)字表親場景能夠保留幾何和語義功能，訓練出的策略優(yōu)于數(shù)字孿生(90% vs. 25%)，且可通過零樣本學習直接部署在原始場景中。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
新智元報道
編輯：編輯部 HXZ
【新智元導讀】在用模擬環(huán)境訓練機器人時，所用的數(shù)據(jù)與真實世界存在著巨大的差異。為此，李飛飛團隊提出「數(shù)字表親」，這種虛擬資產(chǎn)既具備數(shù)字孿生的優(yōu)勢，還能補足泛化能力的不足，并大大降低了成本。
如何有效地將真實數(shù)據(jù)擴展到模擬數(shù)據(jù)，進行機器人學習？
最近，李飛飛團隊提出一種「數(shù)字表親」的新方法，可以同時降低真實到模擬生成的成本，同時提高學習的普遍性。
目前，論文已被CORL2024接收。
你可能會問，什么是「數(shù)字表親」，有啥用呢？
讓我們把它跟數(shù)字孿生比較一下。
的確，數(shù)字孿生可以準確地對場景進行建模，然而它的生成成本實在太昂了，而且還無法提供泛化功能。
而另一方面，數(shù)字表親雖然沒有直接模擬現(xiàn)實世界的對應物，卻仍然能夠捕獲相似的幾何和語義功能。
這樣，它就大大降低了生成類似虛擬環(huán)境的成本，同時通過提供類似訓練場景的分布，提高了從模擬到真實域遷移的魯棒性。
共同一作Tianyuan Dai表示，既然有免費的「數(shù)字表親」了，何必再去手工設(shè)計數(shù)字孿生？
亮眼的是，「數(shù)字表親」能同時實現(xiàn)
單幅圖像變成交互式場景
全自動（無需注釋）
機器人策略在原始場景中的零樣本部署
簡單拍一張照片，就能搞定了
模擬數(shù)據(jù)難題：與現(xiàn)實環(huán)境差異過大
在現(xiàn)實世界中訓練機器人，存在策略不安全、成本高昂、難以擴展等問題；相比之下，模擬數(shù)據(jù)是一種廉價且潛在無限的訓練數(shù)據(jù)來源。
然而，模擬數(shù)據(jù)存在一個難以忽視的問題與現(xiàn)實環(huán)境之間的語義和物理差異。
這些差異可以通過在數(shù)字孿生中進行訓練來最小化，但數(shù)字孿生作為真實場景的虛擬復制品，同樣成本高昂且無法跨域泛化。
正是為了解決這些限制，論文提出了「數(shù)字表親」（digital cousion）的概念。
「數(shù)字表親」是一種虛擬資產(chǎn)或場景，與數(shù)字孿生不同，它不明確模擬現(xiàn)實世界的對應物，但仍然展現(xiàn)類似的幾何和語義功能。
因此，數(shù)字表親既具備了數(shù)字孿生的優(yōu)勢，能夠補足現(xiàn)實數(shù)據(jù)的不足，同時降低了生成類似虛擬環(huán)境的成本，并能更好地促進跨域泛化。
具體而言，論文引入了一種自動創(chuàng)建數(shù)字表親（Automatic Creation of Digital Cousins，ACDC）的新方法，并提出了一個完全自動化的，從真實到模擬再到真實的流程，用于生成交互式場景和訓練策略。
實驗結(jié)果發(fā)現(xiàn)，ACDC生成的數(shù)字表親場景能夠保留幾何和語義功能，訓練出的策略也優(yōu)于數(shù)字孿生（90% vs. 25%），而且可以通過零樣本學習直接部署在原始場景中。
方法概述
與數(shù)字孿生不同，數(shù)字表親并不苛求在所有微小細節(jié)上都要重建給定場景，而是專注于保留更高級別的細節(jié)，例如空間關(guān)系和語義。
ACDC是一個完全自動化的端到端流程，從單個RGB圖像生成完全交互式的模擬場景，由三個連續(xù)步驟組成：
信息提�。菏紫龋瑥妮斎氲腞GB圖像中提取對象信息。
數(shù)字表親匹配：利用第一步提取的信息，結(jié)合預先準備的3D模型資產(chǎn)數(shù)據(jù)集，為檢測到的每個對象匹配相應的數(shù)字表親。
場景生成：對選擇的數(shù)字表親進行后處理并編譯在一起，生成一個物理上合理且完全交互式的模擬場景。
通過這三個步驟，ACDC能夠自動創(chuàng)建與輸入圖像語義相似但不完全相同的虛擬場景，為機器人策略訓練提供多樣化的環(huán)境。
結(jié)論
最終，研究者得出了以下結(jié)論。
ACDC是一個全自動化管線，能夠快速生成與單張真實世界RGB圖像相對應的完全交互式數(shù)字表親場景。
研究發(fā)現(xiàn)：
1. 魯棒性
在這些數(shù)字表親設(shè)置上訓練的策略，比在數(shù)字孿生上訓練的策略表現(xiàn)出更強的魯棒性。
為了進一步檢查數(shù)字表親對樸素域隨機化的相對影響，研究者根據(jù)其他基線在 DoorOpening任務上重新運行了sim2sim實驗
2. 性能對比
領(lǐng)域內(nèi)性能：數(shù)字表親訓練的策略與數(shù)字孿生訓練的策略相當。
領(lǐng)域外泛化：數(shù)字表親訓練的策略展現(xiàn)出優(yōu)越的領(lǐng)域外泛化能力。
3. 零樣本學習
數(shù)字表親訓練的策略能夠?qū)崿F(xiàn)零樣本從模擬到現(xiàn)實的策略遷移。
作者介紹
TianyuanDai
Tianyuan Dai本科畢業(yè)于香港科技大學，獲得了計算機科學和數(shù)學學士學位，目前在斯坦福攻讀碩士學位，隸屬于斯坦福SVL實驗室（Vision and Learning Lab）和PAIR研究小組（People, AI & Robots Group），由李飛飛指導。
他的長期愿景是將人類對現(xiàn)實世界環(huán)境的理解融入到機器人算法中，使用數(shù)據(jù)驅(qū)動的方法幫助人們完成日常任務；最近研究的重點是開發(fā)real2sim2real范式，以實現(xiàn)穩(wěn)健的操控策略學習（manipulation policy learning）。
Josiah Wong
Josiah Wong目前在斯坦福大學攻讀機械工程博士學位，導師是李飛飛，同樣在SVL和PAIR組工作。
此前，他在斯坦福大學獲得碩士學位，在加利福尼亞大學圣迭戈分校獲得學士學位。
他致力于利用仿真技術(shù)來拓展機器人操作能力，目標是推動日常通用機器人的發(fā)展，從而改善我們的日常生活。
