本研究では、大規模言語モデル(LLM)を用いた検索補助型生成(RAG)タスクの課題に取り組んでいる。LLMは長文処理に課題があり、計算コストが高くなるという問題がある。また、関連性の低い文脈情報が入力に含まれると出力品質が低下する「distraction現象」も知られている。
本研究では、Superposition Promptingと呼ばれる新しい手法を提案する。この手法では、入力テキストをグラフ構造で表現し、並列処理とプルーニングを行うことで、効率性と精度を同時に向上させることができる。具体的には以下の特徴がある:
実験の結果、Superposition Promptingは、NaturalQuestions-OpenとMuSiQueのデータセットにおいて、既存手法と比べて大幅な効率性と精度の向上を示した。特に、MPT-7B-instructモデルでは、93倍の高速化と43%の精度向上を達成した。
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Thomas Merth... a las arxiv.org 04-11-2024
https://arxiv.org/pdf/2404.06910.pdfConsultas más profundas