Conceitos essenciais
WildLMa 是一個適用於真實世界場景的機器人長程運動操控框架,它結合了全身控制器、模仿學習和大型語言模型 (LLM) 規劃器,使四足機器人能夠在複雜環境中執行複雜的操控任務。
論文概述
本論文介紹了 WildLMa,一個用於真實世界場景中機器人長程運動操控的模組化框架。WildLMa 結合了全身控制器、模仿學習和大型語言模型 (LLM) 規劃器,使四足機器人能夠在複雜環境中執行複雜的操控任務。
主要組成部分
WildLMa 由三個主要組成部分構成:
全身虛擬實境遙控操作: 為了克服人類操作員與四足機器人間的差異,WildLMa 採用預先訓練的全身控制器,允許操作員透過虛擬實境裝置直觀地控制機器人的運動,並透過手臂與底盤的協調來擴展機器人的工作空間。
WildLMa-Skill: 這個模組包含透過模仿學習和分析規劃獲得的技能庫。模仿學習部分利用預先訓練的 CLIP 模型進行泛化,並透過交叉注意力機制實現基於語言條件的技能學習。分析規劃則用於處理基於規則的任務,例如導航。
WildLMa-Planner: 這個模組充當 WildLMa-Skill 與 LLM 規劃器之間的介面,將學習到的技能與 LLM 規劃器連接起來,以執行長程任務。它採用分層規劃方法,首先將任務分解成單獨的子任務,然後利用 LLM 規劃器在預先構建的場景圖中搜索最佳行動方案。
實驗結果
實驗結果表明,WildLMa 在真實世界場景中表現出色,能夠成功執行各種長程操控任務,例如清理垃圾、操作鉸接物體和整理書架。與現有的模仿學習和基於 RL 的方法相比,WildLMa 在泛化能力、任務複雜性和長程執行方面表現出顯著優勢。
總結
WildLMa 為真實世界場景中的機器人長程運動操控提供了一個有效的框架,其模組化設計和對 LLM 規劃器的整合為未來機器人應用開闢了新的可能性。
Estatísticas
使用 VR 遙控操作收集訓練數據,與傳統方法相比,演示成本降低了 26.9%。
WildLMa 在 O.O.D. 環境下,抓取成功率比現有的 RL 基線更高,僅需數十次演示。
WildLMa-Skill 模組為每個技能獨立訓練權重,每個技能需要 30-60 個演示。
WildLMa-Planner 使用基於 LiDAR 的 SLAM 系統和人工標記的語義信息來構建場景圖。