AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
論文一作為北卡羅來納大學(xué)教堂山分校張子健，指導(dǎo)老師為北卡羅來納大學(xué)教堂山分校助理教授 Huaxiu Yao。共同第一作者為華盛頓大學(xué) Kaiyuan Zheng，其余作者包括來自北卡教堂山的 Mingyu Ding、來自華盛頓大學(xué)的 Joel Jang、Yi Li 和Dieter Fox，以及來自芝加哥大學(xué)的 Zhaorun Chen、Chaoqi Wang。
論文標(biāo)題：GRAPE: Generalizing Robot Policy via Preference Alignment
論文鏈接：https://arxiv.org/abs/2411.19309
項目地址：https://grape-vla.github.io
代碼地址：https://github.com/aiming-lab/GRAPE
研究背景近年來，視覺-語言-動作模型（Vision-Language-Action, VLA）在諸多機(jī)器人任務(wù)上取得了顯著的進(jìn)展，但它們?nèi)悦媾R一些關(guān)鍵問題，例如由于僅依賴從成功的執(zhí)行軌跡中進(jìn)行行為克隆，導(dǎo)致對新任務(wù)的泛化能力較差。此外，這些模型通常通過微調(diào)來復(fù)制在不同環(huán)境下由專家收集的演示數(shù)據(jù)，這導(dǎo)致了分布偏差，并限制了它們對多樣化操作目標(biāo)（如效率、安全性和任務(wù)完成）的適應(yīng)能力。方法部分為了解決這一問題，我們提出了 GRAPE，一種即插即用的算法，通過偏好對齊提升機(jī)器人策略的泛化能力，并支持將 VLA 模型對齊到任意設(shè)定的目標(biāo)。GRAPE 的框架如下圖所示：
圖 1：GRAPE 的框架GRAPE 帶來了以下三大優(yōu)勢，顯著增強(qiáng)了 VLA 模型的泛化性：
GRAPE 在軌跡層面通過強(qiáng)化學(xué)習(xí)（RL）目標(biāo)對 VLA 進(jìn)行對齊，賦予模型全局決策能力，而不僅僅是簡單的行為克�。�
GRAPE 隱式建模了成功和失敗嘗試中的獎勵，從而提升對多樣化任務(wù)的泛化能力；
GRAPE 采用可擴(kuò)展的偏好合成算法。GRAPE 通過與任意目標(biāo)對齊的偏好對軌跡進(jìn)行排序，進(jìn)而使得 VLA 模型能被對齊到設(shè)定的目標(biāo)上。
具體而言，GRAPE 的框架可以被拆成三個部分：Trajectory-wise Preference Optimization、Customized Preference Synthesis 和 Iterative Online Alignment。以下是這三個部分的詳細(xì)介紹：Trajectory-wise Preference Optimization（軌跡級偏好優(yōu)化）：GRAPE 將逐步訓(xùn)練的 VLA 模型擴(kuò)展到軌跡級別，并通過強(qiáng)化學(xué)習(xí)（RL）目標(biāo)進(jìn)行訓(xùn)練，確保對齊后的策略能夠優(yōu)先選擇被接受的軌跡，而非被拒絕的軌跡。具體而言，我們基于 DPO 的 Loss 函數(shù)進(jìn)行了改進(jìn)，引入了一種全新的 TPO_Loss，使得模型能夠?qū)W習(xí)軌跡級別的偏好。我們利用模型在任務(wù)中采集的較優(yōu)與較劣的嘗試（分別計為 ζ_w，ζ_l），建立了 TPO 偏好數(shù)據(jù)集，最終使得模型在 TPO 訓(xùn)練后在全局層面獲得了對齊，并增強(qiáng)了其魯棒性。
圖 2 TPO-Loss 公式Customized Preference Synthesis（定制化偏好合成）：基于 TPO-Loss 的設(shè)計，我們需要對于軌跡的優(yōu)劣進(jìn)行建模，從而構(gòu)建對應(yīng)的偏好數(shù)據(jù)集。然而，對于一些復(fù)雜的機(jī)器人任務(wù)，并沒有能夠用于軌跡排序的獎勵模型。針對這個問題，GRAPE 引入了一種可擴(kuò)展算法，將復(fù)雜操作任務(wù)分解為獨立階段，并通過一個大型視覺-語言模型提出的關(guān)鍵點，自動引導(dǎo)偏好建模過程中的時空約束。這些約束具有靈活性，可根據(jù)需求進(jìn)行定制，使模型與不同目標(biāo)（如安全性、效率或任務(wù)完成）保持一致。Iterative Online Alignment（迭代式在線對齊）：GRAPE 通過以下迭代循環(huán)不斷優(yōu)化對齊過程：1）在線樣本采集，2）合成偏好排序，3）軌跡級偏好優(yōu)化。這種方法逐步提升了 VLA 策略的泛化能力，并使其與任意目標(biāo)更好地對齊。實驗結(jié)果真機(jī)泛化實驗我們在域內(nèi)任務(wù)以及五種分布外泛化（OOD）任務(wù)上評估了 GRAPE 的性能，這些 OOD 任務(wù)包括：視覺（新的視覺環(huán)境）、主體（未見過的物體）、動作（未見過的操作）、語義（未見過的提示）和語言落地泛化（物體處于未見過的空間位置）。結(jié)果顯示，GRAPE 在這些 OOD 任務(wù)上的表現(xiàn)分別比最先進(jìn)的 OpenVLA-SFT 模型提升了 20.7%、27.5%、10.0%、5.0% 和 26.7%。這充分體現(xiàn)了通過偏好對齊過程所實現(xiàn)的卓越泛化能力。仿真泛化實驗我們進(jìn)一步在 Simpler-Env 和 LIBERO 環(huán)境中評估了 GRAPE 的性能，重點考察三種 OOD 任務(wù)的泛化能力：主體（未見過的物體）、物理屬性（未見過的物體尺寸 / 形狀）和語義（未見過的提示）。結(jié)果顯示，GRAPE 在這些 OOD 任務(wù)上相較 OpenVLA-SFT 模型分別提升了 8.0%、12.3% 和 19.0% 的表現(xiàn)。
圖 3：真機(jī)與仿真實驗統(tǒng)計結(jié)果特定對齊目標(biāo)分析GRAPE 能夠高效地將機(jī)器人策略與通過自然語言指定的多種目標(biāo)對齊，例如任務(wù)完成、安全性和效率。這些目標(biāo)被融入多階段的成本函數(shù)中，進(jìn)而影響采樣軌跡的排序。實驗表明，當(dāng)對齊目標(biāo)為更安全或更高效的操作策略時，GRAPE 可將碰撞率降低 44.31%，或?qū)?zhí)行軌跡的長度縮短 11.15%。
圖4：指定的對齊目標(biāo)（安全），訓(xùn)練后的模型學(xué)會了安全地執(zhí)行操作結(jié)論本文提出了 GRAPE，一種即插即用的 VLA 模型對齊框架，在多種機(jī)器人任務(wù)場景下均能使用，能夠基于軌跡偏好提升機(jī)器人策略的泛化能力，并支持將模型對齊到指定目標(biāo)。
