核心概念
本研究では、日本語の大規模マルチドメイン対話データセット「JMultiWOZ」を構築し、既存の英語データセットと同等の複雑さを持つことを示した。また、最新の対話モデルを用いた評価実験から、日本語対話システムの課題を明らかにした。
要約
本研究では、日本語の大規模マルチドメイン対話データセット「JMultiWOZ」を構築した。JMultiWOZは、観光、宿泊、レストラン、ショッピング、タクシー、天気の6つのドメインにわたる4,246件の対話から成る。
データ構築の手順は以下の通り:
- オントロジーの定義: 各ドメインの属性(スロット)を定義した。
- バックエンドデータベースの構築: 各エンティティの詳細情報を収集し、データベースを構築した。
- ユーザーゴールの設計: 1-3ドメインにわたるユーザーゴールを5,000個作成した。
- 対話収集: ウィザードとユーザーの役割を持つクラウドワーカーを招き、対話を収集した。
- 対話状態の注釈: ウィザードの検索クエリに加えて、非明示的な値も注釈した。
JMultiWOZの特徴は以下の通り:
- MultiWOZ2.2と同等の複雑さを持つ
- 対話状態追跡とレスポンス生成の2つのタスクでベンチマークを提供する
- 最新の対話モデルを用いた評価実験から、日本語対話システムの課題を明らかにした
統計
対話状態の合計スロット数は214,019
そのうち、ウィザードの検索クエリから自動取得できたスロットは155,274
残りの58,745スロットは人手で注釈した