מושגי ליבה
大規模言語モデルや人間による参照を必要とせず、情報理論的目標に基づいて強力な要約モデルを蒸留する方法を提案します。
תקציר
自動要約の現在の勝ちパターンは、ChatGPTなどの大規模言語モデルを使用することです。
INFOSUMMは、Pythia-2.8Bから568Mパラメータの強力な要約モデルを抽出します。
要約の質を向上させるためにPMI最大化デコーディングが使用されます。
生成されたデータセットは既存のベンチマークよりも多様性が高く、豊富なスタイルカバレッジを持っています。
ヒューマン評価結果ではINFOSUMMが優れた性能を示しています。
情報理論的目標に基づく自己学習教師モデルから強力な要約モデルを抽出する方法
自動要約の現在:
ChatGPTや教師モデルから小規模モデルへの蒸留プロセスは明確な良い要約定義が欠けている。
大規模言語モデルへの依存度が増しているが、その汎用性や制御可能性は不透明。
情報最大化目標:
要約における3つの評価次元(顕著性、忠実性、簡潔さ)を統合した統一的探索目標。
専門家イテレーション:
小規模教師LMから改善された教師LMへの専門家イテレーションで高品質サマリゼーションデータセット生成。
コントロール可能サマリゼーション:
コントロール属性注釈付き生成されたデータで学習可能。制御属性に基づく学習で柔軟性向上。
拡張分析:
PMI推定は人間評価と良好な相関関係あり。生成されたデータセットは多様性と豊富なスタイルカバレッジで優れている。
סטטיסטיקה
INFOSUMM-0.5B:568MパラメータでCNN/DM記事から生成されたサマリ例:
"警察はErika R—-(14歳)とCaleb B—-(13歳)を探しており..."
ציטוטים
"INFOSUMMは大規模言語モデルや人間による参照を必要とせず、競合力あるサマリザーを抽出します。"