"Retrieval-augmented generation (RAG) enhances large language models (LLMs) by incorporating additional information from retrieval."
"We propose an information refinement training method named INFO1-RAG that optimizes LLMs for RAG in an unsupervised manner."
"Our paper aims to fundamentally improve the ability of LLMs to utilize retrieved texts while preserving the generalizability of LLMs for various RAG tasks in zero-shot setting."
INFO-RAGは、大規模言語モデル(LLM)に情報精練を行わせることで、取得した情報を正確に抽出し、不正確な情報の干渉を回避する能力を向上させます。この手法は、三つの異なるシナリオに対応するための訓練タスクを提案し、それぞれのシナリオにおいて優れた結果を示します。具体的には、「Select and Copy」、「Correct and Complete」、「Contextual Stimulation」という訓練タスクが各々異なる問題点に対処し、LLMが取得したテキストから適切な知識を抽出し生成する能力を高めます。さらに、INFO-RAGは様々なタスクで一般化可能であり低コストであるため、他の手法よりも効果的であると考えられます。