本論文では、大規模言語モデル(LLM)を用いた質問応答システムにおいて、長文ドキュメントから効率的に情報を取得するための新しい手法GARLICを提案する。従来のRAG(Retrieval-Augmented Generation)手法は、テキストをチャンクに分割することでLLMが入力を処理できるようにしていたが、近年ではツリーベースのRAG手法が登場し、詳細情報と全体的な文脈の両方を保持できるようになった。しかし、Llama 3.1のようなより強力なLLMの登場により、従来のツリーベースのRAG手法は、ドキュメント全体を直接LLMに入力するよりも性能が劣ることが明らかになった。
GARLICは、従来手法の計算効率を維持しながら、Llama 3.1を含む従来の最先端のベースラインを上回る性能を実現する。本手法は、要約グラフ構築と動的グラフ探索の2つの段階から構成される。
この段階では、ドキュメントから階層的な重み付き有向非巡回グラフ(HWDAG)を反復的に構築する。各ノードは、単一またはごく少数のイベントに焦点を当てた情報ポイント(IP)を表す。IPは、最初にテキストセグメントから生成され、その後、LLMにフィードバックされて、より高レベルのIPが再帰的に生成される。要約中に、生成されたIPと入力IP間のLLMの注意重みが抽出され、それらの関係が取得される。これにより、モデルは、要約テキスト全体をスキャンするのではなく、特定のイベントを効率的に識別できるようになる。
この段階では、構築されたHWDAGからノードを取得し、LLMにフィードして回答を予測する。LLMは、取得されたノードに与えられたクエリに答えるのに十分な情報が含まれているかどうかを評価し、十分な情報が集まったとLLMが判断するまで探索を続ける。探索中に、取得されたノードとクエリ間の注意が抽出され、LLMの知識に基づいて関連性を評価することができる。この注意と動的グラフ探索段階からの注意を組み合わせて探索を誘導し、次のノードを取得する。
GARLICは、HWDAGと注意ベースの探索を組み合わせることで、注意重みのみに依存した新しい検索アプローチを実現する。実験の結果、GARLICは、追加の推論計算コストをかけることなく、Llama 3.1を含む他のベースラインよりも優れた性能を示した。
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Xinyu Wang, ... : arxiv.org 10-08-2024
https://arxiv.org/pdf/2410.04790.pdfDaha Derin Sorular