核心概念
多エージェントディベートにおいて、エージェントをグループに分割し、グループ内でのディベートと各グループ間での情報共有を行うことで、トークンコストを大幅に削減しつつ、精度の向上も実現できる。
摘要
本論文は、多エージェントディベートにおけるトークンコストの問題に取り組んでいる。多エージェントディベートは論理的推論能力を高める有効な手法であるが、エージェントの数や論争ラウンドの増加に伴いトークンコストが急激に上昇するという課題がある。
提案手法のGroupDebateでは、全エージェントをいくつかのグループに分割し、グループ内でディベートを行い、その結果をグループ間で共有するという方式を採用している。これにより、トークンコストを最大51.7%削減しつつ、精度を最大25%向上させることができる。
具体的な手順は以下の通り:
- 全エージェントをN個のグループに分割する
- 各グループ内でディベートを行い、その結果をサマリとしてプールに蓄積する
- 次のラウンドでは各グループがプールからサマリを取り出し、それを入力として使用してディベートを行う
- 最終的に全エージェントが合意に達するか、多数決で結論を出す
理論的な分析からも、提案手法のGroupDebateはトークンコストの複雑度を大幅に改善できることが示されている。
実験結果では、Arithmetic、GSM8K、MMLU、MATHの4つのデータセットにおいて、トークンコストを最大51.7%削減しつつ、精度を最大25%向上させることができた。また、単一エージェントの手法であるCoT、Reflection、CoT-SCと比較しても、精度の大幅な向上が確認された。
統計資料
多エージェントディベートを用いることで、単一エージェントの手法に比べて精度を最大25%向上できる
提案手法のGroupDebateを用いることで、トークンコストを最大51.7%削減できる
引述
"多エージェントディベートにおいて、エージェントの数や論争ラウンドの増加に伴いトークンコストが急激に上昇するという課題がある。"
"提案手法のGroupDebateでは、全エージェントをいくつかのグループに分割し、グループ内でディベートを行い、その結果をグループ間で共有するという方式を採用している。"
"理論的な分析からも、提案手法のGroupDebateはトークンコストの複雑度を大幅に改善できることが示されている。"