Kernkonzepte
検索支援型生成を用いた対話システムの構築を促進し、実世界の顧客サービスシナリオにおける課題に取り組むことが本チャレンジの目的である。
Zusammenfassung
本チャレンジは、検索支援型生成(Retrieval Augmented Generation: RAG)を用いた対話システムの研究を推進することを目的としている。
MobileCS2データセットを提供し、2つのトラックを設定している。
トラック1では、対話コンテキストに基づいた知識ベースからの情報検索を行う。トラック2では、検索された知識を活用して、情報的で一貫性のある応答を生成する対話システムを構築する。
MobileCS2データセットは、実際の顧客サービスログから収集された約3,000件の高品質な対話を含んでおり、知識ベースクエリとその結果の注釈が付与されている。これにより、RAGを用いた対話システムの研究に適したデータセットとなっている。
データセットには、ユーザプロファイル、製品情報、FAQ手順などの複数の知識ベースが含まれており、これらを効果的に活用する必要がある。また、一部の対話は無ラベルデータとして提供されており、半教師あり学習の研究にも活用できる。
本チャレンジのベースラインシステムでは、検索モデルと生成モデルから構成される。評価の結果、情報検索と応答生成の両タスクで高い性能を達成することが非常に困難であることが示された。このことから、実世界の顧客サービスシナリオにおけるRAGの活用には多くの課題が残されていることが分かる。
Statistiken
対話の中で知識検索が必要な箇所は全体の約26%を占める
検索モデルのrecall@1は0.225、recall@5は0.387、recall@20は0.573
生成モデルのBLEU-4は14.54、BERTScoreは0.639、Inform Rateは0.092
Zitate
"RAGは、質問応答やダイアログシステムの応答の正確性と事実性を高め、より情報的で基盤のある応答を提供することができることが示されている。"
"しかし、複数の知識ベースから検索を行う方法や、利用可能なツールやAPIコールを効果的に活用したRAGベースの対話システムの構築など、いくつかの課題が未解決のままである。"