Khái niệm cốt lõi
大規模言語モデル(LLM)の出力評価において、LLM自身を擁護者、裁判官、陪審員として用いる、法廷風のマルチエージェントシステムが提案されている。
Tóm tắt
大規模言語モデルの出力に対する、反論型マルチエージェントによる反復的な議論を通じた評価
本研究は、従来の人間による評価や自動指標による評価の限界を克服するために、大規模言語モデル(LLM)自身を、法廷風のマルチエージェントシステムにおける擁護者として用いる、新しい評価フレームワークを提案する。
本研究では、LLMを擁護者、裁判官、陪審員として位置づけ、LLMの出力に対して擁護者同士が議論を交わし、裁判官が評価を行い、最終的に陪審員が勝敗を決めるという、法廷風のマルチエージェントシステムを構築した。このシステムは、複数のLLMの強みと、議論に基づく協力、役割適応、多層陪審員システムを組み合わせることで、より動的で包括的な評価プロセスを実現する。
具体的には、2つのアーキテクチャ、すなわち、回答ごとに複数の擁護者を配置する「複数擁護者ワンラウンド評価(MORE)」と、回答ごとに1人の擁護者を配置し、複数ラウンドの評価を行う「単一擁護者複数ラウンド評価(SAMRE)」を提案している。MOREでは、各回答に対して3人の擁護者を配置し、1人の裁判官が議論を監督する。SAMREでは、各回答に対して1人の擁護者を配置し、1人の裁判官と複数の陪審員が議論を観察し、評価を行う。