在機(jī)器人領(lǐng)域，如何讓機(jī)器人在非結(jié)構(gòu)化環(huán)境中實(shí)現(xiàn)對(duì)環(huán)境的有效感知和深入理解，是一個(gè)普遍面臨的重大挑戰(zhàn)。
這不僅涉及機(jī)器人基于感知信息進(jìn)行自主導(dǎo)航能力，還要求其在執(zhí)行任務(wù)時(shí)能夠通過準(zhǔn)確的認(rèn)知理解人的任務(wù)命令，確保機(jī)器人在認(rèn)知、感知和規(guī)控這三個(gè)關(guān)鍵方面的穩(wěn)定性和準(zhǔn)確性，更是難中之難。
為應(yīng)對(duì)這些挑戰(zhàn)，深圳技術(shù)大學(xué)機(jī)器人自主移動(dòng)與操作實(shí)驗(yàn)室馬淦副教授團(tuán)隊(duì)成功自主研發(fā)了一種具身智能機(jī)器人系統(tǒng)。該系統(tǒng)能夠出色地適應(yīng)動(dòng)態(tài)、多變的環(huán)境，靈活應(yīng)對(duì)復(fù)雜場(chǎng)景，進(jìn)而執(zhí)行實(shí)時(shí)巡檢任務(wù)。
研究人員將大語言模型和視覺語言模型深度融合，成功突破了語言、視覺、導(dǎo)航等多模態(tài)信息之間的壁壘，實(shí)現(xiàn)了機(jī)器人從位置導(dǎo)航模式到認(rèn)知導(dǎo)航模式的跨越。
通過集成諸如激光雷達(dá)、慣性測(cè)量單元等不同類型的傳感器，機(jī)器人能夠?qū)?shí)時(shí)捕捉到的視覺信息轉(zhuǎn)化為自然語言，并及時(shí)反饋給用戶。
值得一提的是，借助大模型處理復(fù)雜指令，機(jī)器人的理解能力得到顯著增強(qiáng)，其對(duì)復(fù)雜自然語言指令的理解和執(zhí)行成功率超過 96%，相較于傳統(tǒng)依賴預(yù)設(shè)指令的機(jī)器人系統(tǒng)，優(yōu)勢(shì)十分明顯。
正如馬淦所說：“這一能力不僅提升了用戶對(duì)機(jī)器人的信息理解程度，還填補(bǔ)了機(jī)器人與用戶之間的認(rèn)知空白，使得任務(wù)完成效率大幅提高�！�
圖丨馬淦課題組（來源：馬淦團(tuán)隊(duì)）
傳統(tǒng)機(jī)器人在自然語言理解方面能力有限，往往需要結(jié)構(gòu)化輸入或固定模板，而且在處理視覺信息，如場(chǎng)景變化、潛在異常等情況時(shí)，通常需要人工進(jìn)行分析。
而這款具身智能機(jī)器人利用大模型，實(shí)現(xiàn)了對(duì)多樣化自然語言指令的準(zhǔn)確解析和實(shí)時(shí)轉(zhuǎn)化，讓操作過程變得更加直觀、靈活。
此外，機(jī)器人在視覺場(chǎng)景描述中的正確率高達(dá) 93%，反饋延遲低于 200 毫秒，達(dá)成了高效的人機(jī)信息交互。
該系統(tǒng)通過對(duì)算法和感知技術(shù)的優(yōu)化，實(shí)現(xiàn)了快速、精確的環(huán)境建模，并將其與任務(wù)規(guī)劃完美融合，成功解決了巡檢任務(wù)中的多目標(biāo)調(diào)度和路徑規(guī)劃問題。
在動(dòng)態(tài)場(chǎng)景下，它能夠達(dá)到 25 幀/秒的重建速度，建模誤差低于 1.8%，可以滿足巡檢任務(wù)對(duì)高精度和高效率的要求。
馬淦指出，這些優(yōu)化得益于課題組在巡檢機(jī)器人開發(fā)，以及動(dòng)態(tài)環(huán)境導(dǎo)航算法方面多年積累的經(jīng)驗(yàn)和持續(xù)取得的突破，有望為行業(yè)創(chuàng)造顯著價(jià)值。
首先，機(jī)器人的操作門檻顯著降低，用戶無需掌握復(fù)雜的操作技能，通過自然語言就能與機(jī)器人輕松交互。
其次，任務(wù)效率得以提升，機(jī)器人能夠?qū)?shí)時(shí)三維建圖與巡檢任務(wù)規(guī)劃相結(jié)合，執(zhí)行過程中無需停頓，同時(shí)視覺語言反饋技術(shù)賦予了機(jī)器人“解釋能力”，進(jìn)一步提高了交互效率。
此外，該系統(tǒng)主要依靠本地傳感器進(jìn)行高精度定位，即便外部定位信號(hào)微弱，也能憑借自身計(jì)算能力完成任務(wù)，增強(qiáng)了在各種場(chǎng)景下的適應(yīng)性和可靠性。
圖丨語義導(dǎo)航技術(shù)路線（來源：馬淦團(tuán)隊(duì)）
在通用性方面，馬淦認(rèn)為，通用機(jī)器人并非僅局限于人形機(jī)器人，其核心在于硬件的模塊化和軟件的分層架構(gòu)�！霸摍C(jī)器人系統(tǒng)具備通用的具身智能自主移動(dòng)和操作功能，能夠與任意形態(tài)的腿足式機(jī)器人和機(jī)械臂兼容。”
從硬件層面來看，該系統(tǒng)可應(yīng)用于不同形態(tài)的機(jī)器人本體，既適用于輪式底盤，也可用于履帶式底盤。在此基礎(chǔ)上，還能進(jìn)一步添加兩個(gè)機(jī)械臂或工具箱等模塊。
從軟件層面來講，系統(tǒng)具有高度通用性，最初可將其視為一個(gè)核心共享平臺(tái)，然后根據(jù)需求擴(kuò)展出各種功能模塊，如腿部或手臂等。例如，擴(kuò)展腿部后能實(shí)現(xiàn)不同的行走方式，添加一個(gè)或兩個(gè)機(jī)械臂則可完成特定任務(wù)。
該系統(tǒng)擁有廣泛的應(yīng)用場(chǎng)景，有望在工業(yè)巡檢、災(zāi)后救援、農(nóng)業(yè)自動(dòng)化、倉(cāng)儲(chǔ)物流和制造業(yè)等多個(gè)領(lǐng)域發(fā)揮重要作用。
在日常巡檢方面，機(jī)器人可在學(xué)校、醫(yī)院、寫字樓、社區(qū)等場(chǎng)所進(jìn)行常規(guī)巡檢。
在特殊場(chǎng)景巡檢方面，它能夠在地震災(zāi)后救援、礦井內(nèi)部巡檢等環(huán)境復(fù)雜、危險(xiǎn)性高的場(chǎng)景中發(fā)揮作用。
在工業(yè)和農(nóng)業(yè)領(lǐng)域，機(jī)器人可用于大型工廠的設(shè)備巡檢和大型農(nóng)場(chǎng)的作業(yè)監(jiān)督，這些場(chǎng)景通常面積廣闊、設(shè)備眾多、巡檢任務(wù)艱巨。
使用智能機(jī)器人系統(tǒng)代替人工巡檢，能夠有效降低人力成本，提高巡檢效率和質(zhì)量，還能在高危和極端環(huán)境中執(zhí)行任務(wù)，為人員安全提供更有力的保障。
現(xiàn)階段，研究人員希望結(jié)合更多實(shí)際應(yīng)用需求，深入解決工程化過程中可能出現(xiàn)的問題。據(jù)悉，相關(guān)技術(shù)已申請(qǐng)專利，他們期待在合適的時(shí)機(jī)將技術(shù)推向產(chǎn)業(yè)化。
此外，該團(tuán)隊(duì)還計(jì)劃在智能協(xié)作系統(tǒng)、感知與交互以及機(jī)器人在智能家居、教育輔助等跨領(lǐng)域拓展方向繼續(xù)探索。
圖丨多形態(tài)移動(dòng)平臺(tái)展示（來源：馬淦團(tuán)隊(duì)）
研究人員打算解決的問題包括：優(yōu)化多傳感器數(shù)據(jù)融合、開發(fā)自適應(yīng)學(xué)習(xí)算法以及研究新的管理策略等。
例如，進(jìn)一步提高多傳感器融合算法的精度與效率，以實(shí)現(xiàn)更精準(zhǔn)的環(huán)境感知和更靈敏的動(dòng)態(tài)響應(yīng)能力；開發(fā)更先進(jìn)的自適應(yīng)學(xué)習(xí)算法，讓機(jī)器人能夠在不同任務(wù)和環(huán)境中迅速調(diào)整和優(yōu)化自身行為；通過研究新的管理策略，提升機(jī)器人在長(zhǎng)時(shí)間、高負(fù)載任務(wù)中的能量端點(diǎn)能力，確保其穩(wěn)定運(yùn)行。
排版：劉雅坤
