RAX 用 AI 編程代理取代示範數據
據 RAX 項目頁及論文，這套名為 RAX（Robot Agent eXploration）的開源框架，由一個專門寫程式的通用 AI 代理直接連接機械人的感知與控制 API，自己寫出控制程式，過程中不使用任何動作示範數據、人手預先設計的動作模組，亦不訓練任何策略模型。代理背後的大型語言模型全程保持不變，學到的東西以筆記、程式及經驗證的技能形式，存放在代理自己的工作區。
論文由哈佛大學 Yilun Du 領導，兩名第一作者 Runhan Huang 及 Xiangcheng Zhang 主導項目，合作者來自 NVIDIA、加州大學柏克萊分校、麻省理工學院及史丹福大學，包括柏克萊教授 Pieter Abbeel、Dawn Song 及麻省理工教授 Antonio Torralba。
真機上約兩小時由零學會一項任務
Yilun Du 周六（17 日）在社交平台表示，在每一部真實機械人上，由零開始到熟練完成任務大約只需兩小時，「沒有遙控，沒有微調模型」。團隊展示的任務包括把間隙只有 0.1 毫米的零件插入孔中、拉開氣炸鍋抽屜放入食物再推回、用毛巾抹走枱面污漬，以及讓輪式人形機械人把椅子推回枱底、把箱子搬上櫃頂。
項目頁指，代理摸索成功之後，會把整個感知、規劃及控制流程編譯成程式，之後執行時不再需要代理逐步思考。以氣炸鍋任務為例，代理摸索時需時 72 分鐘，編譯後的程式只需 18 秒，快 241 倍；疊木塔任務由 17 分鐘縮短至 10 秒，快 103 倍。
模擬測試平均高出約 37 個百分點
論文指，在五個模擬測試平台上，RAX 平均比表現最好的現有方法高出約 37 個百分點，而且隨着摸索次數增加，在未見過的場景中的成功率持續上升。
項目 | 數字 |
|---|---|
模擬測試平台 | RoboDojo、BEHAVIOR-1K、HumanoidArena、DexJoCo 雙臂任務、LIBERO-Pro |
較現有最佳方法 | 平均高出約 37 個百分點 |
氣炸鍋任務 | 摸索 72 分鐘，程式執行 18 秒 |
疊木塔任務 | 摸索 17 分鐘，程式執行 10 秒 |
最細插孔間隙 | 0.1 毫米 |
團隊又指，摸索規模擴大後，系統出現了主動調整鏡頭觀察、自行修正錯誤、自設安全規則及與人協作等能力。框架同一套代碼支援單臂、雙臂、靈巧手、人形及移動機械人，新機型只需經 API 接入。
代碼、技能庫與操作紀錄全部開源
RAX 的代碼以 Apache-2.0 授權放上 GitHub，團隊同時公開每一次實驗的完整紀錄，包括代理的對話紀錄、機械人工具呼叫、狀態紀錄及鏡頭影像，存放在 Hugging Face。項目亦設立技能庫，首批收錄 Rainbow RB-Y1 及 Franka FR3 兩款機械人學到的技能，每項技能附有前置條件、檢查步驟及失敗情況，並邀請其他團隊提交自己機械人學到的技能。
翻查資料，現時主流的機械人學習方法要為每款新機械人或新任務收集大量人手遙控示範，訓練出來的策略亦受限於示範數據的範圍，RAX 論文正是針對這個瓶頸。
來源
- RAX: Scaling Online Exploration for Robot Agents 項目頁及論文（原始論文）
- robot-agent-exploration/rax 開源代碼（GitHub）
- RAX 機械人實驗完整紀錄（Hugging Face）
No comments yet
提交留言即表示你已閱讀我們的私隱政策。