MR.STEVE：基於「何時何地發生何事」記憶體的 Minecraft 指令遵循代理人

核心概念

本文提出了一種名為 MR.STEVE 的新型 Minecraft 指令遵循代理人，它透過整合「地點事件記憶體」（PEM）來解決現有代理人缺乏情景記憶的問題，從而顯著提高了在稀疏順序任務中的探索和任務解決效率。

摘要

論文資訊
作者： Junyeong Park, Junmo Cho, Sungjin Ahn
機構： KAIST
發表日期： 2024 年 11 月 11 日
論文連結： https://sites.google.com/view/mr-steve
研究目標
本研究旨在解決現有 Minecraft 指令遵循代理人在稀疏順序任務中缺乏情景記憶的問題，並提出一個能夠有效探索環境、記憶重要事件並提高任務解決效率的新型代理人。
方法
研究人員開發了一種名為 MR.STEVE 的新型代理人，它整合了「地點事件記憶體」（PEM）。PEM 是一種分層記憶體系統，它將代理人的經驗儲存在與地點和事件相關聯的叢集中。代理人使用 PEM 來記憶過去遇到的資源位置、事件（例如，燃燒的殭屍）以及其他重要資訊。此外，MR.STEVE 還採用了基於計數的探索策略和目標導向導航策略，以有效探索環境並導航至記憶中的位置。
主要發現

MR.STEVE 在稀疏順序任務中的探索和任務解決效率方面顯著優於現有基準代理人，例如 STEVE-1 和 Plan4MC。
PEM 在記憶體容量有限的情況下表現出色，證明了其在管理和查詢情景記憶方面的效率。
MR.STEVE 的分層探索策略，結合基於計數的目標選擇和 VPT-Nav 導航，在最大限度地覆蓋地圖和最小化重複訪問方面非常有效。
主要結論
本研究強調了情景記憶對於在開放世界環境中運作的指令遵循代理人的重要性。透過整合 PEM 和有效的探索策略，MR.STEVE 克服了現有代理人的局限性，並為開發能夠執行複雜、長期任務的更強大的 Minecraft 代理人鋪平了道路。
研究意義
本研究對強化學習和 embodied AI 領域做出了重大貢獻。MR.STEVE 的開發為構建能夠記憶過去經驗、學習有效策略並適應動態環境的更智慧代理人提供了有價值的見解。
局限性和未來研究方向
儘管 MR.STEVE 顯示出顯著的改進，但仍有改進的空間。未來的研究方向包括：

研究將 MR.STEVE 與高級規劃器（例如，基於 LLM 的規劃器）整合，以處理更複雜的任務。
探索 PEM 在其他強化學習任務和環境中的應用。
研究不同類型的記憶體機制及其對代理人效能的影響。

統計資料

Minecraft 的模擬速度為 20Hz。
STEVE-1 的記憶體跨度僅為幾秒鐘的遊戲時間。
代理人需要大約 24,000 個環境步驟才能完成獲得鑽石的任務。
在 100 × 100 區塊地圖上進行的探索實驗中，MR.STEVE 实现了 84.42% 的地圖覆蓋率和 0.38 次的平均重複訪問次數。
在 ABA-Sparse 任務中，MR.STEVE 在所有 20 個任務中都優於 STEVE-1，在第二次執行任務 A 時，任務持續時間顯著縮短。
在記憶體受限的任務中，當記憶體容量限制為 2K 時，MR.STEVE 在「尋找水」、「尋找殭屍死亡地點」和「尋找首次訪問的房屋」任務中表現出最高的成功率。

從以下內容提煉的關鍵洞見

Mr.Steve: Instruction-Following Agents in Minecraft with What-Where-When Memory

by Junyeong Par... 於 arxiv.org 11-12-2024

https://arxiv.org/pdf/2411.06736.pdf

深入探究

MR.STEVE 如何應用於其他需要情景記憶和有效探索的遊戲或模擬環境？

MR.STEVE 的核心優勢在於其情景記憶和有效探索能力，這使其非常適合應用於其他具有以下特點的遊戲或模擬環境：

開放世界、資源分散： 與 Minecraft 類似，如果遊戲環境是一個廣闊的開放世界，且關鍵資源或目標分散在各處，那麼 MR.STEVE 的情景記憶可以幫助代理人記住資源位置，避免重複探索，提高任務效率。例如，在開放世界 RPG 或生存遊戲中，代理人可以利用 MR.STEVE 記住城鎮、地牢、稀有材料的位置等。
任務目標需要回溯： 如果遊戲任務需要代理人多次前往同一個地點，或者任務目標與先前探索過程中遇到的信息相關聯，那麼 MR.STEVE 的情景記憶就能發揮重要作用。例如，在解謎遊戲中，代理人可能需要根據先前場景中的線索來解開謎題；在偵探遊戲中，代理人可以利用 MR.STEVE 記住證據和證詞的位置。
環境複雜、需要有效探索： 如果遊戲環境地形複雜，包含多種地形和障礙物，那麼 MR.STEVE 的分層探索策略和基於 VPT-Nav 的導航能力可以幫助代理人更有效地探索環境，避免陷入局部區域或重複探索。例如，在迷宮、洞穴等複雜環境中，MR.STEVE 可以幫助代理人更快找到目標。
總之，任何需要代理人記住過去事件、有效探索環境並根據情景信息做出決策的遊戲或模擬環境，都可能從 MR.STEVE 的設計理念中受益。

如果環境中的資源分佈不是稀疏的，而是更加均勻或動態變化，那麼 MR.STEVE 的效能會如何變化？

如果環境中的資源分佈不是稀疏的，MR.STEVE 的效能可能會受到一定影響，但同時也存在應對策略：

資源分佈均勻： 在資源分佈均勻的環境中，情景記憶的重要性相對降低，因為代理人不需要記住特定資源的位置。此時，MR.STEVE 的分層探索策略仍然可以發揮作用，幫助代理人系統地探索環境。
資源分佈動態變化： 在資源分佈動態變化的環境中，MR.STEVE 需要具備更新記憶的能力，以應對環境變化。例如，可以為每個記憶設置一個「時間戳」，並定期刪除過時的記憶；或者引入「遺忘機制」，動態調整記憶的重要性。
以下是一些可以提升 MR.STEVE 在非稀疏資源環境下效能的策略：

動態調整記憶策略： 根據環境中資源分佈的密度和動態變化程度，動態調整記憶容量、記憶更新頻率和記憶查詢策略。
結合其他探索策略： 除了基於計數的探索策略外，還可以結合其他探索策略，例如基於好奇心的探索、基於目標的探索等，以更好地適應環境變化。
引入更複雜的記憶機制： 例如，可以借鑒人類記憶中的「語義記憶」和「情景記憶」的概念，將 MR.STEVE 的記憶系統擴展為包含長期知識和短期經驗的混合記憶系統。
總之，雖然 MR.STEVE 在稀疏資源環境下表現出色，但在資源分佈更加均勻或動態變化的環境中，需要針對性地調整其記憶和探索策略，才能更好地發揮其作用。

除了提高任務解決效率之外，像 MR.STEVE 這樣具有情景記憶的代理人的發展如何促進更像人類的遊戲行為和決策？

像 MR.STEVE 這樣具有情景記憶的代理人的發展，不僅僅是提高任務解決效率，更重要的是促進更像人類的遊戲行為和決策，主要體現在以下幾個方面：

更真實的探索行為： 人類在探索新環境時，會記住重要地標、資源點和危險區域，並根據這些記憶規劃路線，避免重複探索。MR.STEVE 的情景記憶和分層探索策略使其能夠模仿這種真實的探索行為，而不是像傳統代理人那樣進行隨機或無目的的探索。
更靈活的任務解決方案： 人類在面對複雜任務時，會根據過往經驗和情景信息調整策略，而不是死板地執行預先設定的指令。MR.STEVE 的情景記憶使其能夠在解決任務過程中借鑒過往經驗，根據當前環境和任務目標調整策略，展現出更强的適應性和靈活性。
更豐富的遊戲交互： 情景記憶是人類社交和情感互動的基礎。未來的遊戲代理人可以利用情景記憶記住與玩家的互動歷史，並根據這些記憶調整自己的行為，從而與玩家建立更深層次的聯繫。例如，代理人可以記住玩家的喜好、習慣和遊戲風格，並根據這些信息提供個性化的遊戲體驗。
總之，像 MR.STEVE 這樣具有情景記憶的代理人的發展，將推動遊戲 AI 向著更智能、更人性化的方向發展，為玩家帶來更真實、更豐富、更具沉浸感的遊戲體驗。