Core Concepts
提案されたFIT-RAGフレームワークは、事実情報を活用し、トークンの削減を行うことで、効果的かつ効率的なLLMの拡張を実現します。
Abstract
FIT-RAGは、大規模言語モデル(LLMs)の更新においてファインチューニングを回避し、外部知識の取り込みによって性能向上を図る新しいアプローチです。このフレームワークは、事実情報を活用することでリコール率を向上させ、トークン数の削減によって計算リソースの節約も可能としています。Bi-Label Document ScorerやBi-faceted Self-Knowledge Recognizerなどの構成要素が効果的な結果をもたらすことが示されています。
Introduction:
FIT-RAGはLLMsのファインチューニング回避と外部知識取り込みに焦点を当てる。
フレームワークは事実情報利用とトークン削減による性能向上・効率化を目指す。
Large Language Models:
LLMsは長尾知識や時限性情報への対応が課題。
FIT-RAGはRAGシステムでLLMs拡張する手法。
Retrieval-Augmented Generation:
RAGシステムが外部知識取り込みでLLMs補完。
既存RAGフレームワークでは白箱設定が主流だが、FIT-RAGはブラックボックスLLMs向け。
Data Extraction:
FIT-RAGはTriviaQA, NQ, PopQAデータセットでLlama2-13B-Chatの回答精度向上(14.3%〜27.5%)及びトークン数削減(平均50%)を達成。
Stats
FIT-RAGはLlama2-13B-ChatのTriviaQAデータセットで回答精度改善(14.3%)、NQデータセットで改善(19.9%)、PopQAデータセットで改善(27.5%)した。また、平均して全体的に半分程度のトークン数削減も達成した。