Główne pojęcia
本研究では、大規模言語モデルの検索補助型生成タスクにおいて、効率性と精度を同時に向上させる新しい手法「Superposition Prompting」を提案する。
Streszczenie
本研究では、大規模言語モデル(LLM)を用いた検索補助型生成(RAG)タスクの課題に取り組んでいる。LLMは長文処理に課題があり、計算コストが高くなるという問題がある。また、関連性の低い文脈情報が入力に含まれると出力品質が低下する「distraction現象」も知られている。
本研究では、Superposition Promptingと呼ばれる新しい手法を提案する。この手法では、入力テキストをグラフ構造で表現し、並列処理とプルーニングを行うことで、効率性と精度を同時に向上させることができる。具体的には以下の特徴がある:
- 入力テキストをDAG(有向非循環グラフ)で表現し、各パスを独立に処理する。これにより、並列処理が可能になる。
- パス重要度スコアに基づいてパスをプルーニングし、関連性の低い文脈を除去する。これにより精度が向上する。
- パスプレフィックスのキャッシュを活用し、事前計算を行うことで、推論時の計算コストを大幅に削減できる。
実験の結果、Superposition Promptingは、NaturalQuestions-OpenとMuSiQueのデータセットにおいて、既存手法と比べて大幅な効率性と精度の向上を示した。特に、MPT-7B-instructモデルでは、93倍の高速化と43%の精度向上を達成した。
Statystyki
検索補助型生成タスクにおいて、Superposition Promptingは93倍の理論的高速化を実現した。
Superposition Promptingは、NaturalQuestions-Openデータセットで43%の精度向上を達成した。
Cytaty
"Superposition promptingは、LLMの長文処理の課題と効率性の問題に取り組む新しい手法である。"
"Superposition promptingは、入力テキストをグラフ構造で表現し、並列処理とプルーニングを行うことで、効率性と精度を同時に向上させることができる。"