本論文では、SC-Phi2と呼ばれる小規模言語モデルを提案している。SC-Phi2は、StarCraftⅡのマクロ管理タスクを行うために、Microsoft社のPhi-2言語モデルをファインチューニングしたものである。
まず、StarCraftⅡのレース、役割、アクションに関する情報を含む新しいテキストデータセットを作成し、Phi-2モデルをこのデータセットでセルフ教師あり学習によりファインチューニングした。次に、BLIP-2モデルから事前学習済みのビジョントランスフォーマー(ViT)を組み合わせ、MSCリプレイデータセットでさらにファインチューニングを行った。これにより、ゲームの状態に関する視覚的情報を含む動的なプロンプトを生成できるようになった。
大規模言語モデルと比べて、Phi-2は StarCraftⅡに関する知識が少ないが、LoRAとQuantizationを使うことで単一のGPUで効率的にトレーニングできる。実験の結果、SC-Phi2は、ビルド順序の予測や勝敗の予測などのマクロ管理タスクで良好な性能を示した。
翻譯成其他語言
從原文內容
arxiv.org
深入探究