核心概念
会話参加者間の相互理解は共同で構築されるものであり、傍聴者はその過程を受動的に消費するにすぎない。しかし、対話モデルの学習や評価では、この傍聴者の視点に依存しがちであり、会話における共有基盤の構築プロセスの本質を捉えきれていない可能性がある。
要約
本論文では、会話における共有基盤の構築プロセスをモデル化する際の課題について議論している。
- 会話参加者と傍聴者の理解プロセスの違い
- 参加者は相互に理解を構築するが、傍聴者は参加者の相互作用の結果を受動的に消費する
- 発話者は傍聴者の存在を意識して発話を設計することができるが、秘密裏に傍聴される場合は意図された意味を推測するしかない
- 対話モデルの学習と評価における傍聴者の視点の問題
- データ収集、アノテーション、モデル化、評価の各段階で傍聴者の視点が前提とされている
- これにより、会話における共有基盤の構築プロセスの本質が捉えきれない可能性がある
- 人間の共有基盤構築行為の可変性
- バックチャンネルや修復要求などの共有基盤構築行為には個人差が大きい
- 教師あり学習では、この可変性を十分にモデル化できない可能性がある
- 予備的分析
- 指示対話ゲームにおける修復要求の決定について、傍聴者間の一致度が低いことを示した
- これは、共有基盤構築行為のモデル化の困難さを裏付ける
結論として、対話システムの設計においては、単なる傍聴者の視点ではなく、参加者としての相互作用プロセスを捉えることが重要であると主張している。
統計
修復要求の決定について、3人の傍聴者の間のKrippendorff's αは0.10、平均ペアワイズのCohen's κは0.18と低い一致度であった。
元の参加者の決定を含めると、Krippendorff's αは0.02、Cohen's κは0.06とさらに低下した。
引用
"会話参加者は相互に理解を構築するが、傍聴者は参加者の相互作用の結果を受動的に消費する"
"対話モデルの学習や評価では、この傍聴者の視点に依存しがちであり、会話における共有基盤の構築プロセスの本質を捉えきれていない可能性がある"