情報検索ランドスケープの探索: 新しい評価手法と文書分割手法の比較調査

文書の特性が情報検索拡張生成(RAG)システムの性能に大きな影響を与えることが示された。構造化された教科書、簡潔な論文、複雑な小説では、それぞれ異なる検索戦略が必要であることが明らかになった。文書分割手法の比較評価では、再帰的文字分割手法がトークンベースの分割手法よりも文脈の整合性を保持することが優れていることが示された。また、質問応答ペアを生成する新しい評価手法を導入し、精度と関連性を評価するための重み付きスコアリング手法を提案した。