本研究では、大規模言語モデル(LLM)の理解力向上と幻覚抑制を目的とした取り組みについて述べている。
まず、LLMの幻覚の4つのタイプ(人物、場所、数値、時間)を定義し、それらの発生傾向を分析した。その上で、プロンプトの言語的特徴(読解性、形式性、具体性)とLLMの幻覚との関係を調べた。
次に、最適なパラフレーズを見つける手法を提案した。これは、統合勾配(IG)を用いて各パラフレーズの理解度を評価し、トピックモデリングによる類似性も考慮して、最適なパラフレーズを選択するものである。
さらに、LLMの理解力を高めるために、[PAUSE]トークンの挿入方法を検討した。具体性スコアに基づいて[PAUSE]の挿入位置と数を決定し、リバースプロキシチューニングによる効果的な fine-tuning 手法を提案した。
最後に、最適なパラフレーズと[PAUSE]挿入を組み合わせたACTIVATORパイプラインを紹介した。これにより、入力プロンプトを自動的に最適化し、生成された内容の正当性を検証することができる。
全体として、本研究は、LLMの理解力向上と幻覚抑制のための包括的なアプローチを示している。
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Vipula Rawte... lúc arxiv.org 03-29-2024
https://arxiv.org/pdf/2403.18976.pdfYêu cầu sâu hơn