PARTNR：一個用於評估具身多代理任務中規劃和推理能力的基準測試

核心概念

PARTNR 是一個用於評估具身代理在模擬家庭環境中與人類協作完成各種任務能力的基準測試，該測試揭示了當前最先進的語言模型在規劃、協調和從錯誤中恢復方面的顯著局限性，突出了人類與機器人協作領域的重大挑戰。

摘要

研究目標
本研究旨在開發一個名為 PARTNR 的基準測試，用於評估具身 AI 代理在模擬室內環境中與人類協作完成一系列家庭活動的能力。
方法
研究人員使用大型語言模型 (LLM) 開發了一個半自動化的任務生成流程，並結合模擬進行驗證。PARTNR 包含 100,000 個自然語言任務，涵蓋 60 個房屋和 5,819 個獨特物件。研究人員使用最先進的 LLM 對 PARTNR 任務進行了分析，評估了它們在規劃、感知和技能執行方面的能力。此外，還進行了真人參與的評估，讓人們單獨完成任務、與人類夥伴合作完成任務，或與 LLM 引導的機器人夥伴合作完成任務。
主要發現

LLM 在協調、任務跟踪以及處理感知和技能錯誤方面存在顯著的局限性。
在非特權條件下，人類能夠解決 93% 的 PARTNR 任務，而當前最先進的 LLM 只能成功完成 30%。
在分散式多代理設置中，由於對合作夥伴動作的跟踪不佳，導致額外動作的產生，任務完成所需步驟比單代理設置多 1.3 倍。
與單獨工作的人相比，人類配對在人機迴路實驗中表現更出色，這凸顯了改進 LLM 協作策略的潛力。
當用規劃數據微調較小的 LLM 時，其性能可與模型大小 9 倍的模型相媲美，同時推理速度提高 8.6 倍。
主要結論
PARTNR 突出了協作型具身代理面臨的重大挑戰，旨在推動該方向的研究。LLM 在規劃、協調和從錯誤中恢復方面存在顯著的局限性，需要進一步的研究來彌合人類與機器人協作方面的差距。
意義
PARTNR 基準測試為評估和比較不同具身 AI 代理在協作環境中的性能提供了一個標準化平台。它揭示了當前 LLM 的局限性，並為未來的研究指明了方向，特別是在協調、任務跟踪和從錯誤中恢復方面。
局限性和未來研究
該研究的一個局限性是依賴於模擬環境。未來的研究可以探索在真實世界環境中評估 PARTNR 任務。此外，探索其他 LLM 架構和訓練方法以提高協作性能將是一件有趣的事情。

統計資料

PARTNR 基準測試包含 100,000 個自然語言任務。
這些任務分佈在 60 個模擬房屋中。
數據集中有 5,819 個獨特的物件。
在非特權條件下，人類的任務成功率為 93%。
在非特權條件下，當前最先進的 LLM 的任務成功率為 30%。
分散式多代理設置比單代理設置需要多 1.3 倍的步驟才能完成任務。
微調後的 8B LLM 模型的性能與 70B LLM 模型相當，同時推理速度提高了 8.6 倍。

從以下內容提煉的關鍵洞見

PARTNR: A Benchmark for Planning and Reasoning in Embodied Multi-agent Tasks

by Matthew Chan... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2411.00081.pdf

深入探究

如何將 PARTNR 基準測試擴展到更複雜的協作場景，例如涉及多個代理和更動態環境的場景？

將 PARTNR 擴展到更複雜的協作場景，例如涉及多個代理和更動態環境，可以從以下幾個方面著手：

增加代理數量和類型： 現有的 PARTNR 主要關注人機協作，可以擴展到多個機器人或多個人類和機器人混合的場景。 此外，還可以考慮不同類型機器人的協作，例如移動機器人、機械臂等，以模擬更真實的家庭或工作環境。
引入更動態的環境： 現有的 PARTNR 環境相對靜態，可以加入動態元素，例如移動的障礙物、環境光線變化、突發事件等，以測試代理在動態環境下的適應性和魯棒性。
設計更複雜的任務： 可以設計需要多個步驟、多個代理協同才能完成的複雜任務，例如多人共同佈置房間、多個機器人合作搬運大型家具等。
加入更豐富的人機交互： 可以探索更自然、更豐富的人機交互方式，例如語音交互、手勢識別等，以提高人機協作的效率和自然度。
考慮代理的學習和適應能力： 可以設計場景，讓代理在與其他代理或環境交互過程中學習新的技能或策略，以評估其學習和適應能力。
通過以上擴展，PARTNR 可以更好地評估具身多代理系統在更真實、更複雜場景下的性能，推動具身人工智能技術的發展。

除了評估任務完成率之外，還可以使用哪些其他指標來評估具身多代理系統的協作質量？

除了任務完成率，還可以考慮以下指標來更全面地評估具身多代理系統的協作質量：

效率指標:

完成任務所需時間/步驟: 越短/少代表效率越高。
路徑規劃效率: 例如在導航任務中，可以比較實際路徑長度與最優路徑長度的比值。
資源利用率: 例如在多機器人搬運任務中，可以評估機器人閒置時間和資源分配的合理性。

協作流暢度指標:

溝通成本: 例如代理之間交換信息的数量和頻率，越少代表溝通效率越高。
衝突次數: 例如在多機器人導航中，可以統計機器人之間碰撞或阻擋的次數。
任務分配合理性: 例如在多人協作任務中，可以評估任務分配是否符合各代理的能力和效率。

魯棒性和適應性指標:

面對環境變化或任務中斷的恢復能力: 例如在執行任務過程中遇到突發事件，代理能否快速調整策略並繼續完成任務。
面對未知環境或任務的泛化能力: 例如將代理放在一個新的環境中，或讓其完成一個未曾見過的任務，評估其適應能力。

人機交互指標 (針對人機協作系統):

交互自然度: 例如評估人類與機器人交互的流畅度和自然程度。
代理的可理解性: 例如評估人類能否理解機器人的行為和意圖。
信任度: 例如評估人類對機器人行為的信任程度。
通過綜合考慮以上指標，可以更全面、客觀地評估具身多代理系統的協作質量，促進更强大、更智能的協作系統的發展。

如果將人類的學習和適應能力融入到 LLM 的訓練過程中，是否可以提高 LLM 在具身多代理任務中的性能？

將人類的學習和適應能力融入到 LLM 的訓練過程中，非常有可能提高 LLM 在具身多代理任務中的性能。
目前 LLM 在具身多代理任務中面临的挑战，很多都與人類的學習和適應能力相關：

協調能力不足: 人類擅長通過觀察、溝通和預測他人行為來協調行動，而 LLM 在這方面還有很大差距。
泛化能力不足: 人類可以將已有知識和經驗遷移到新的環境和任務中，而 LLM 的泛化能力相對較弱。
鲁棒性不足: 人類可以應對環境變化和意外情況，而 LLM 在面對未見過的情況時容易出错。
因此，將人類的學習和適應能力融入 LLM 訓練，可以從以下方面提升其性能：

模仿學習: 利用人類示範數據訓練 LLM，學習人類在多代理環境下的協調和溝通策略。
強化學習: 在多代理環境中訓練 LLM，通過獎勵機制鼓勵其學習高效的協作策略和適應性行為。
元學習: 訓練 LLM 從少量樣本中快速學習新任務和環境，提高其泛化能力。
持續學習: 讓 LLM 在與環境和其它代理交互過程中不斷學習新的知識和技能，提高其適應性和鲁棒性。
一些初步的研究，例如模仿學習和強化學習，已經在將人類行為融入 LLM 方面取得了一些進展。 相信隨著研究的深入，將人類的學習和適應能力更有效地融入 LLM 訓練，將成為提升 LLM 在具身多代理任務中性能的重要方向。