本研究では、Knowledgeable Agent from Language Model rollouts (KALM)と呼ばれる手法を提案している。KALM は、事前学習済みの大型言語モデルを活用し、環境内のデータを理解し、新しいスキルに対応したイメージロールアウトを生成する。そして、このイメージロールアウトとオフラインの実データを組み合わせてオフラインリインフォースメント学習を行うことで、エージェントが新しいタスクを学習し、遂行できるようになる。
具体的には以下の3つのステップから成る:
実験では、CLEVR-Robotタスクを用いて評価を行っている。結果として、KALMは、既存のタスクに対する性能を維持しつつ、新しいタスクに対する成功率を大幅に向上させることができた。特に、言語モデルのファインチューニングの効果が大きいことが示された。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Jing-Cheng P... at arxiv.org 04-16-2024
https://arxiv.org/pdf/2404.09248.pdfDeeper Inquiries