本研究では、大規模言語モデルを活用した質問応答フレームワーク「EKRG」を提案している。
検索モジュールでは、大規模言語モデルを使ってドキュメントに関連する質問を生成し、それらを活用してドキュメントリトリーバーを効率的に訓練する。また、関連性を考慮したティーチャー・スチューデントの学習戦略を導入することで、訓練データの質を高めている。
生成モジュールでは、大規模言語モデルにChain-of-Thought (CoT)ベースの fine-tuningを行うことで、ユーザーの質問に対して検索したドキュメントを効果的に活用して回答を生成できるようにしている。
実験の結果、提案手法は既存手法と比べて、検索精度と回答生成の質において優れた性能を示すことが確認された。特に、ドキュメントの関連性を考慮したデータ生成と、CoTベースの fine-tuningが有効に機能していることが分かった。
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Feihu Jiang,... lúc arxiv.org 04-16-2024
https://arxiv.org/pdf/2404.08695.pdfYêu cầu sâu hơn