本論文では、知識から文章を生成する際の課題である「ホールシネーション」、つまり入力の知識と矛盾したり、入力にない情報を含む文章の生成を解決するため、「TWEAK」と呼ばれる新しい文章生成手法を提案している。
TWEAKは、文章生成の各ステップで生成候補の「信頼性」を評価し、その評価結果に基づいて候補を再ランク付けする手法である。具体的には、各生成候補について、これまでに生成された部分と、これから生成される可能性のある部分を「仮説」として扱い、それらが入力の知識を適切に反映しているかを検証するモデル(Hypothesis Verification Model; HVM)を用いて評価する。
まず、一般的な自然言語推論(NLI)モデルをHVMとして使用したバリアントを検討し、ベースラインと比較して文章の信頼性が大幅に向上することを示した。さらに、本タスク特化のHVMを新たに構築するため、入力知識と元の/改変された文章の対応関係を学習するデータセット「FATE」を提案した。FATEを用いて訓練したHVMを用いたTWEAKは、NLIベースのTWEAKよりも文章の信頼性と品質のバランスが良好であることが確認された。
特に、入力知識の量が増えるほど、FATEベースのHVMが優れた性能を発揮することが分かった。これは、HVMが各知識トリプルと仮説の関係を細かく捉えられるのに対し、NLIモデルは全ての知識トリプルを一つの前提として扱うため、知識量が増えるとその限界が顕著になるためと考えられる。
以上より、TWEAKは知識から文章を生成する際の信頼性向上に効果的であり、特にFATEベースのHVMを用いることで、高い信頼性と品質のバランスが取れた文章生成が可能となることが示された。
自定义摘要
使用 AI 改写
生成参考文献
翻译原文
翻译成其他语言
生成思维导图
从原文生成
访问来源
arxiv.org
Think While You Write
更深入的查询
質問1
質問2
質問3
