Core Concepts
大規模言語モデルの推論能力を向上させるための効果的な再読み込み戦略を紹介する。
Abstract
大規模言語モデル(LLMs)の推論能力を向上させるために、再読み込みというシンプルで効果的なプロンプティング方法が導入されました。この方法は、入力フェーズに焦点を当て、他の思考促進型プロンプティング手法と独立して機能します。また、デコーダー専用LLMsにおいて質問の双方向理解を促進する可能性があります。幅広い推論ベンチマーク、異なるLLMタイプ、さまざまなタスク設定での包括的な実験が行われ、RE2の有効性と汎用性が検証されました。
Stats
RE2は「bidirectional」エンコーディングを可能にする。
RE2は14つのデータセットで112回の実験を通じて推論パフォーマンスを一貫して向上させる。
ChatGPT Vanilla+RE2では平均3.81、2.51、1.85の改善が見られた。
Quotes
"RE2は双方向理解を促進し、デコーダー専用LLMsで有望です。"
"RE2は他の思考促進型プロンプティング手法と独立して機能します。"
"RE2は幅広い推論ベンチマークで効果的であることが示されました。"