核心概念
認知心理学に基づく「認知プロンプト」を用いることで、大規模言語モデル(LLM)の構造化思考と問題解決能力を向上できる。
要約
認知プロンプトを用いた言語モデルにおける構造化思考の活用
本稿は、大規模言語モデル(LLM)の構造化思考と問題解決能力を向上させるための新しいアプローチである「認知プロンプト」を提案する研究論文である。
本研究は、LLMが複雑な多段階推論問題を効果的に解決するために、人間の認知プロセスを模倣した構造化された思考プロセスをどのようにしてLLMに導入できるかを調査することを目的とする。
研究者らは、人間の認知オペレーション(COP)を模倣した「認知プロンプト」という新しい手法を提案する。この手法は、目標の明確化、タスクの分解、フィルタリング、抽象化、パターン認識などの段階的な推論プロセスを通じてLLMをガイドする。
具体的な手順は以下の通りである。
認知オペレーション(COP)の定義: まず、人間の認知プロセスを模倣したCOPを定義する。例えば、「目標の明確化」は問題の目的を明確にするCOPであり、「分解」は問題を小さなサブタスクに分割するCOPである。
COPのLLMへの導入: 定義したCOPをLLMに入力として与えることで、LLMが構造化された思考プロセスを実行できるようにする。例えば、「目標の明確化」のCOPを与える場合は、「問題の目的を明確に定義してください」といったプロンプトをLLMに与える。
LLMの出力の評価: LLMが生成した回答を評価し、COPの有効性を検証する。
本研究では、Meta社のLLaMAモデルを用いて実験を行い、算術推論タスク(GSM8Kデータセット)と常識推論ベンチマークでその有効性を評価した。