Core Concepts
大規模言語モデルによる短い回答の正確性を向上させる方法として、サンプリングと選択を組み合わせた「Sample & Select」手法が事実性を30%向上させることが示された。
Abstract
大規模言語モデルによる生成テキストの正確性向上方法である自己整合性は、短い回答からのパーシングに焦点を当てており、このアイデアをオープンレスポンス生成に拡張した。各出力文は前の選択肢に基づいて複数のサンプルから選択され、単純なトークン重複スコアに基づいて条件付けられる。この「Sample & Select」手法は、DoLa、P-CRR、S-CRRなどの新しいデコーダーと比較してNLIベースの評価で事実性を30%相対的に向上させることが示された。人間検証では、生成された要約の事実的優越性が確認された。
Stats
Sample & Selectは他のデコーダーと比較してNLIベース評価で事実性を30%相対的に向上させた。
自己整合性は短い回答からパーシングする際に使用され、投票(解析された短い回答の完全一致)を利用して個々のサンプルよりも信頼性が高い回答を選択する。
トークン重複スコア計算時間は無視できるほど小さい。
Quotes
"Each output sentence is selected from among multiple samples, conditioning on the previous selections, based on a simple token overlap score."
"We show that Sample & Select improves factuality by a 30% relative margin against these decoders in NLI-based evaluation."
"Our main contribution is a novel decoding mechanism which can be applied to any LLM task."