Core Concepts
大規模言語モデルを使用してRLエージェントを効果的にガイドする新しいフレームワークを提案し、SCIENCEWORLD環境での効果を示した。
Abstract
この記事では、大規模な言語モデルを使用してRLエージェントを効果的にガイドするLanguage Guided Exploration(LGE)フレームワークが紹介されています。このフレームワークは、DRRNと組み合わせて使用された際にSCIENCEWORLD環境での性能向上が示されました。LGEは、他の複雑な方法よりも優れた結果を示し、外部知識や一握りの正解軌道を使用して学習を導くことが重要であることを示しています。さらに、LGEは新しいバリエーションでも強力な汎化能力と安定したパフォーマンスを持っています。
Stats
SCIENCEWORLD(Wang et al.、2022)での平均返却率:0.17→0.23
GUIDEの平均適合率:0.68
GUIDEの平均再現率:0.99
平均GARランク:7.42
Quotes
"Large Language Models (LLMs), with a wealth of world knowledge, can help RL agents learn quickly and adapt to distribution shifts."
"We propose a novel way to allow language guided exploration for RL agents."
"The simpler LGE framework outperforms both TDT and BC."