衡宇 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
年末大禮包，稚暉君他又雙來(lái)開(kāi)源了！
百萬(wàn)真機(jī)數(shù)據(jù)集開(kāi)源項(xiàng)目AgiBot World，也是全球首個(gè)基于全域真實(shí)場(chǎng)景、全能硬件平臺(tái)、全程質(zhì)量把控的大規(guī)模機(jī)器人數(shù)據(jù)集。
該項(xiàng)目由稚暉君具身智能創(chuàng)業(yè)項(xiàng)目智元機(jī)器人，攜手上海AI Lab、國(guó)家地方共建人形機(jī)器人創(chuàng)新中心以及上海庫(kù)帕思聯(lián)合發(fā)布。
GitHub和抱抱臉上已經(jīng)可以自取了（本文文末附直通車(chē)）～
說(shuō)起來(lái)，此前在該領(lǐng)域在全球內(nèi)，不是沒(méi)有玩家做過(guò)大規(guī)模的數(shù)據(jù)集：
比如谷歌DeepMind曾構(gòu)建過(guò)Open X-Embodiment數(shù)據(jù)集，數(shù)據(jù)整合自22種不同本體的機(jī)器人。
但其中大部分?jǐn)?shù)據(jù)缺乏統(tǒng)一標(biāo)準(zhǔn)化的采集流程，且許多用于數(shù)據(jù)采集的機(jī)器人構(gòu)型已經(jīng)過(guò)時(shí)，數(shù)據(jù)質(zhì)量格式參差不齊這就可能在機(jī)器人策略學(xué)習(xí)過(guò)程中帶來(lái)副作用。
△谷歌DeepMind的Open X-Embodiment
又比如斯坦福、UC伯克利、谷歌等構(gòu)建的DROID數(shù)據(jù)集，涵蓋了相對(duì)豐富的場(chǎng)景與技能，雖然盡可能實(shí)現(xiàn)規(guī)范化的數(shù)據(jù)采集流程。
但作者團(tuán)隊(duì)自己在后續(xù)研究中指出，DROID存在大量低質(zhì)量數(shù)據(jù)，反而讓機(jī)器人越學(xué)越迷茫。
2024年以來(lái)，具身智能備受矚目，行業(yè)玩家紛紛涌現(xiàn)，很多初創(chuàng)公司都基于自采集的大規(guī)模高質(zhì)量雙臂機(jī)器人數(shù)據(jù)訓(xùn)練的模型展現(xiàn)出了整理、分揀、洗衣等執(zhí)行復(fù)雜動(dòng)作的能力。
這雖然進(jìn)一步印證了高質(zhì)量數(shù)據(jù)在當(dāng)前具身智能領(lǐng)域研究階段的重要性，但這類數(shù)據(jù)集一般僅作自用。
據(jù)介紹，相比于Open X-Embodiment數(shù)據(jù)集，此次開(kāi)源的AgiBot World長(zhǎng)程數(shù)據(jù)規(guī)模高出10倍，場(chǎng)景范圍覆蓋面擴(kuò)大100倍，數(shù)據(jù)質(zhì)量從實(shí)驗(yàn)室級(jí)上升到工業(yè)級(jí)標(biāo)準(zhǔn)。
一起來(lái)看看，這個(gè)數(shù)據(jù)集包含了些什么
日常生活中多樣化任務(wù)，可多機(jī)器人協(xié)作官方資料顯示，AgiBot World數(shù)據(jù)集收錄了80余種日常生活中的多樣化技能。
從抓取、放置、推、拉等基礎(chǔ)操作，到攪拌、折疊、熨燙等精細(xì)長(zhǎng)程、雙臂協(xié)同復(fù)雜交互，幾乎涵蓋了日常生活所需的絕大多數(shù)動(dòng)作需求。
下面舉幾個(gè)栗子～
毫米級(jí)精細(xì)控制。
演示場(chǎng)景為插內(nèi)存條。需要如神經(jīng)纖維般靈敏的末端觸覺(jué)傳感器助力機(jī)器人精準(zhǔn)對(duì)接，稍有不慎可能導(dǎo)致設(shè)備損壞。
繁瑣長(zhǎng)流程家務(wù)整理。
該任務(wù)下演示場(chǎng)景1為整理洗碗機(jī)。
畫(huà)面中，勺筷碗盤(pán)層層堆疊在洗碗池里。在這條數(shù)據(jù)中，機(jī)器人將雜亂的餐具逐一整理到洗碗機(jī)相應(yīng)卡槽中。
該任務(wù)下演示場(chǎng)景2為掛式熨燙衣物。
機(jī)器人通過(guò)雙手協(xié)作，一只手抓住襯衫的一角，另一只手控制掛燙機(jī)與衣物的距離，熨燙衣物褶皺。
搭建物體搬運(yùn)。
搬運(yùn)大件物體這項(xiàng)任務(wù)，目前對(duì)單機(jī)器人來(lái)說(shuō)是個(gè)老大難。
數(shù)據(jù)集中采集的是雙機(jī)器人協(xié)作，分擔(dān)重量的同時(shí)，通過(guò)實(shí)時(shí)調(diào)整位置與角度，確保物體搬運(yùn)過(guò)程中的穩(wěn)定安全。
盡可能覆蓋日常生產(chǎn)、生活全域場(chǎng)景團(tuán)隊(duì)介紹，AgiBot World是從智元機(jī)器人自建的大規(guī)模數(shù)據(jù)采集工廠與應(yīng)用實(shí)驗(yàn)基地中采集的，采集空間總面積超過(guò)4000平方米，包含3000多種真實(shí)物品。
為了盡可能覆蓋機(jī)器人在生產(chǎn)、生活中的典型應(yīng)用需求，為機(jī)器人提供高度真實(shí)的生產(chǎn)生活環(huán)境，采集環(huán)境包含超過(guò)100種真實(shí)場(chǎng)景、3000多種物品。
其中，80%的任務(wù)為長(zhǎng)程任務(wù)，時(shí)長(zhǎng)集中在60s-150s之間，且涵蓋多個(gè)原子技能，是DROID和OpenX-Embodiment工作的5倍。
值得一提的是，按照日常生活真實(shí)需求，團(tuán)隊(duì)主要復(fù)刻了5個(gè)核心場(chǎng)景，分別是：
家居（40%）、餐飲（20%）、工業(yè)（20%）、商超（10%）和辦公（10%）。
主打的就是通過(guò)多場(chǎng)景的高度還原與任務(wù)設(shè)計(jì)，為機(jī)器人研發(fā)和測(cè)試構(gòu)建一個(gè)能夠?qū)崿F(xiàn)具身智能的必要條件。
首先，家居場(chǎng)景。
主要再現(xiàn)真實(shí)住宅布局，包括臥室、客廳、廚房、衛(wèi)生間等核心空間。有助于訓(xùn)練機(jī)器人家務(wù)清潔、物品整理和廚房任務(wù)等。
在客廳，機(jī)器人可以精確控制機(jī)械臂抓取花材，精確定位花瓶的插孔，將花朵按計(jì)劃插入適當(dāng)位置。
也可以使用清掃工具對(duì)地面進(jìn)行全面清潔，包括碎屑、灰塵和液體等。
還可以清理家居表面的灰塵和污垢，精確控制撣子或軟布進(jìn)行擦拭，避免劃傷表面。
讓我們把視線從客廳轉(zhuǎn)換到廚房。
在廚房，機(jī)器人可以根據(jù)食材種類和沙拉配方，完成切割、混合和裝盤(pán)操作，也可以控制清潔工具對(duì)瓶?jī)?nèi)外進(jìn)行刷洗，去除污漬。
如果再把場(chǎng)景切換到衛(wèi)生間，機(jī)器人可以精準(zhǔn)控制機(jī)械臂使用刷子清潔衛(wèi)生間馬桶。
其次，餐飲場(chǎng)景。
主要實(shí)現(xiàn)智能服務(wù)體驗(yàn)，模擬前廳、后廚與用餐區(qū)域，包括點(diǎn)餐臺(tái)、備餐區(qū)、餐桌等。有助于訓(xùn)練機(jī)器人實(shí)現(xiàn)餐廳服務(wù)（點(diǎn)餐、上菜、清理餐桌）、食材傳遞、后廚協(xié)作等。
再者，工業(yè)場(chǎng)景。
主要模擬分揀與物流自動(dòng)化，復(fù)刻工業(yè)倉(cāng)庫(kù)與生產(chǎn)線，包括分揀系統(tǒng)、打包設(shè)備、傳輸帶等。有助于訓(xùn)練機(jī)器人實(shí)現(xiàn)物料分揀、包裝打包、物流搬運(yùn)等。
在工廠，機(jī)器人在流水線上利用機(jī)械臂精準(zhǔn)控制將物品放入指定的包裝盒中，實(shí)現(xiàn)物品自動(dòng)打包。
還有商超場(chǎng)景。
這一場(chǎng)景下，主要高度還原超市貨架布局與收銀區(qū)設(shè)計(jì)，包含生鮮、日用、冷凍等多個(gè)品類區(qū)域。有助于訓(xùn)練機(jī)器人模擬物品上架、貨物盤(pán)點(diǎn)、顧客引導(dǎo)、無(wú)人結(jié)算等。
在超市，機(jī)器人可以精準(zhǔn)控制掃碼槍對(duì)待結(jié)算物品進(jìn)行掃描和幫助客人裝袋。
采集本體過(guò)硬+嚴(yán)控?cái)?shù)據(jù)質(zhì)量上面所提到的AgiBot World的所有數(shù)據(jù)，都是由下面這款機(jī)器人采集的：
它具有以下幾個(gè)特點(diǎn)：
360°感知：8個(gè)攝像頭環(huán)繞式布局，實(shí)時(shí)全方位感知周?chē)h(huán)境的動(dòng)態(tài)變化。
靈巧操作：可配備具有6個(gè)主動(dòng)自由度的靈巧手，保障動(dòng)作精準(zhǔn)且靈活，完成多種復(fù)雜操作。
末端精細(xì)感知：標(biāo)配末端六維力傳感器，并可配備高精度視觸覺(jué)傳感器，能夠感知力的微小變化，做到“拿捏有度”。
高自由度：全身最高32個(gè)自由度，應(yīng)對(duì)洗衣、做飯、分揀、搬運(yùn)等復(fù)雜任務(wù)。
此外，由于AgiBot World的超大規(guī)模真實(shí)數(shù)據(jù)特性，團(tuán)隊(duì)通過(guò)專業(yè)培訓(xùn)、多級(jí)質(zhì)量把控、全程人工在環(huán)，以確保嚴(yán)格精細(xì)化控制數(shù)據(jù)質(zhì)量。
在任務(wù)設(shè)計(jì)環(huán)節(jié)，AgiBot World從設(shè)計(jì)初稿到設(shè)計(jì)迭代流程，均邀請(qǐng)了學(xué)術(shù)、工業(yè)、消費(fèi)者來(lái)進(jìn)行多視角任務(wù)把關(guān)。
在數(shù)據(jù)采集環(huán)節(jié)，由管理體系下的專業(yè)管理圖那對(duì)來(lái)保障采集員培訓(xùn)和采集質(zhì)量把控。
在審核標(biāo)注環(huán)節(jié)，首先會(huì)經(jīng)過(guò)端云兩側(cè)，嚴(yán)格篩選采集的數(shù)據(jù)，自動(dòng)剔除不符合要求的數(shù)據(jù)。
此外專業(yè)審核員會(huì)人工對(duì)全量數(shù)據(jù)進(jìn)行逐幀審核，確保每一個(gè)動(dòng)作都符合任務(wù)標(biāo)準(zhǔn)，并對(duì)關(guān)鍵幀和數(shù)據(jù)特性進(jìn)行多維度標(biāo)注。
在算法驗(yàn)證環(huán)節(jié)，通過(guò)人工審核的數(shù)據(jù)，還會(huì)由AgiBot World團(tuán)隊(duì)進(jìn)一步通過(guò)算法進(jìn)行驗(yàn)證。
對(duì)于未能通過(guò)驗(yàn)證的數(shù)據(jù)，會(huì)重新設(shè)計(jì)任務(wù)進(jìn)行數(shù)據(jù)補(bǔ)采，確保數(shù)據(jù)可用性。
One More Thing這次開(kāi)源AgiBot World數(shù)據(jù)集，是稚暉君在三個(gè)月內(nèi)的第三次開(kāi)源舉動(dòng)。
第一次是9月底，開(kāi)源了專為具身智能打造的輕量化、高性能通信框架AimRT。
上一次是10月24日（沒(méi)錯(cuò)就是踩點(diǎn)1024），智元人形機(jī)器人靈犀X1全套資料全球開(kāi)源，包括設(shè)計(jì)圖紙和代碼。
至于下一步
量子位得來(lái)的消息是，開(kāi)源，開(kāi)源，還是開(kāi)源（莫不是稚暉君想做源神）。
內(nèi)幕消息一并放在這里，大家就等著他慢慢慢慢慢慢填坑吧，真的（真誠(chéng)臉.jpg）。
百萬(wàn)真機(jī)全量數(shù)據(jù)將陸續(xù)開(kāi)源；
千萬(wàn)仿真數(shù)據(jù)同步推送，支持更泛化和更通用的大模型訓(xùn)練；
發(fā)布具身基座大模型，支持模型微調(diào)，賦能千行百業(yè)；
發(fā)布全套工具鏈，實(shí)現(xiàn)采集、訓(xùn)練和評(píng)測(cè)完美閉環(huán)；
舉辦一系列AgiBot World Challenge。
GitHub鏈接：
https://github.com/OpenDriveLab/AgiBot-World
抱抱臉鏈接:
https://huggingface.co/agibot-world
項(xiàng)目主頁(yè)：
https://agibot-world.com/
