NetHackをLLMsと一緒にプレイする：ゼロショットエージェントの可能性と限界

核心概念

大規模言語モデル（LLMs）を使用したNetPlayエージェントは、詳細な指示を実行する能力を示し、柔軟性と創造性に優れていますが、より曖昧なタスクには苦労しています。

摘要

大規模言語モデル（LLMs）を使用したNetPlayエージェントは、NetHackの複雑さに対処するために拡張されたアプローチを紹介しています。エージェントは詳細な指示を実行する能力がありますが、ゲーム全体でのパフォーマンスを評価し、さまざまな孤立したシナリオでの振る舞いを分析しました。自律的にプレイする能力や創造性がありますが、より曖昧なタスクには苦労しており、「ゲームに勝つ」といった目標では成功しづらいことが明らかになっています。

統計資料

NetPlayエージェントの平均スコア：284.85 ± 222.10
NetPlayエージェントの平均深度：2.60 ± 1.39
NetPlayエージェントの平均経験レベル：2.40 ± 1.23
NetPlayエージェントの平均ゲーム時間：1292.10 ± 942.74

引述

"Given enough context information, an obvious extension to our approach would be granting the agent access to the NetHack Wikipedia."
"Designing the agent to handle all potential edge cases proved challenging, as it is difficult to anticipate every scenario."
"Our experiments show that, given enough context information, NetPlay can perform a wide range of tasks."

從以下內容提煉的關鍵洞見

Playing NetHack with LLMs

by Dominik Jeur... 於 arxiv.org 03-04-2024

https://arxiv.org/pdf/2403.00690.pdf