本論文は、大規模言語モデルの多肢選択問題解答能力を向上させるための分割統治型推論手法を提案している。
まず、問題の難易度に応じて問題を2つのサブセットに分類する。具体的には、生成された答案の統計的頻度に基づいて算出した信頼度スコアを用いて、信頼度が低い問題と高い問題に分類する。
次に、信頼度が低い問題に対して、選択肢をフィルタリングする手法(FCR)を適用することで、モデルの性能を向上させる。
実験の結果、提案手法は従来手法と比べて平均1.56%の精度向上を達成しつつ、必要リソースを15%削減できることが示された。また、様々な大規模言語モデルや問題タイプに対して有効性が確認された。
さらに分析では、問題の難易度と信頼度の関係、選択肢の数が性能に与える影響、強力な誤答選択肢の除去の重要性などが明らかになった。
最後に、提案手法をクローズ形式の問題にも適用し、従来手法を上回る性能を示した。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問