本研究は、大規模言語モデル(LLM)の推論能力を向上させるため、コード形式の計画を生成・活用するスケーラブルなアプローチ「CODEPLAN」を提案している。
主な内容は以下の通り:
従来のLLMは複雑な多段階の推論タスクに課題を抱えていた。既存アプローチは prompting や特定タスクへの fine-tuning に依存しており、頑健性や汎用性に課題があった。
CODEPLANは、LLMにコード形式の計画を生成・活用させることで、構造化された推論プロセスを表現する。コードは条件分岐、反復処理、モジュール化など、複雑な推論に適した表現が可能。
CODEPLANは大規模なテキストコーパスから自動的にコード形式の計画を抽出できるため、効率的にトレーニングデータを構築できる。
13種類の推論ベンチマークで評価した結果、CODEPLANは直接応答生成に比べ平均25.1%の性能向上を達成した。特に複雑な推論タスクでの優位性が顕著。また、データ効率性も高い。
コード形式の計画は自然言語の計画よりも優れており、実行可能なコードを直接生成するアプローチよりも汎用性が高い。
以上より、CODEPLANは大規模言語モデルの推論能力を引き出す有効なアプローチであることが示された。
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Jiaxin Wen, ... a las arxiv.org 09-20-2024
https://arxiv.org/pdf/2409.12452.pdfConsultas más profundas