核心概念
大規模言語モデル (LLM) の生成精度を向上させるため、検索結果の信頼性を評価し、必要に応じて修正を行う新しいフレームワーク「CRAG」を提案する。
要約
CRAG:検索結果の修正を伴う生成モデル
本稿は、大規模言語モデル (LLM) の生成精度、特に検索拡張生成 (RAG) における検索結果の信頼性という課題に取り組む、Corrective Retrieval Augmented Generation (CRAG) と呼ばれる新しいフレームワークを提案しています。
LLM は、人間のような自然な文章を生成できることで注目されていますが、その生成内容の正確性については課題が残ります。RAG は、外部知識ベースから関連情報を取得することで LLM の生成を支援する有効な手法ですが、検索結果の精度に大きく依存するため、不正確な情報が含まれる可能性も孕んでいます。
CRAG は、検索結果の信頼性を評価し、必要に応じて修正を行うことで、RAG のロバスト性を向上させることを目的としています。具体的には、以下の3つの要素から構成されます。
1. 検索評価器
軽量な検索評価器を用いて、検索結果と入力クエリの関連性を評価します。この評価器は、事前に収集したデータセットを用いてファインチューニングされており、各検索結果に対して関連性スコアを算出します。
2. アクショントリガー
関連性スコアに基づいて、{Correct, Incorrect, Ambiguous} の3つのアクションが実行されます。
Correct: 検索結果が信頼できると判断された場合、最も重要な知識断片を抽出するために、知識の分解と再構成が行われます。
Incorrect: 検索結果が信頼できないと判断された場合、ウェブ検索を用いて外部知識ベースから補足的な情報を取得します。
Ambiguous: 評価器が判断に迷う場合、両方の処理を組み合わせて、より堅牢なシステムを実現します。
3. 知識の活用
検索結果の精度を高めるため、文書の絞り込み、検索クエリの書き換え、外部知識の選択といった知識活用操作が実行されます。