核心概念
大規模言語モデルの属性付きテキスト生成の課題を解決するため、選好学習を適用し、自動的な選好データ生成と段階的な選好最適化手法を提案する。
要約
本論文は、大規模言語モデル(LLM)の属性付きテキスト生成の課題に取り組んでいる。LLMは自然言語処理分野で広く採用されているが、信頼できない内容を生成するという課題に直面している。最近の研究では、引用(citation)を用いて根拠を提示することで、この課題に取り組んでいる。
しかし、現在の引用手法は主に検索段階と自動評価に焦点を当てており、人間の学術論文における引用メカニズムを反映していない。本論文では、この課題に取り組むため、属性付与タスクを選好学習として定式化し、自動選好最適化(APO)フレームワークを提案する。
まず、既存のデータセットから6,330の事例を収集・フィルタリングし、ポストトレーニング用のデータセットを構築する。次に、選好データラベリングの高コストを考慮し、自動的に95,263のペアを合成する手法を提案する。さらに、人間の引用プロセスに着想を得て、段階的な選好最適化手法を提案する。
3つのデータセット(ASQA、StrategyQA、ELI5)での実験の結果、APOが引用F1スコアの向上と回答品質の向上を達成することを示している。
統計
生成された文章の中には、事実に基づいていない情報が含まれている可能性がある(generation hallucination)。
引用された文献が生成された文章を十分に裏付けていない可能性がある(attribution hallucination)。
引用
人間の学術論文における引用メカニズムを反映することが重要である。
選好データラベリングの高コストを考慮し、自動的な手法を提案する必要がある。
段階的な選好最適化手法により、スパース報酬問題を緩和することができる。