本研究では、大規模言語モデル(LLM)を用いた検索補助型生成(RAG)タスクの課題に取り組んでいる。LLMは長文処理に課題があり、計算コストが高くなるという問題がある。また、関連性の低い文脈情報が入力に含まれると出力品質が低下する「distraction現象」も知られている。
本研究では、Superposition Promptingと呼ばれる新しい手法を提案する。この手法では、入力テキストをグラフ構造で表現し、並列処理とプルーニングを行うことで、効率性と精度を同時に向上させることができる。具体的には以下の特徴がある:
実験の結果、Superposition Promptingは、NaturalQuestions-OpenとMuSiQueのデータセットにおいて、既存手法と比べて大幅な効率性と精度の向上を示した。特に、MPT-7B-instructモデルでは、93倍の高速化と43%の精度向上を達成した。
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Thomas Merth... ב- arxiv.org 04-11-2024
https://arxiv.org/pdf/2404.06910.pdfשאלות מעמיקות