医師に診察後に病気になる？イベントの時間的推論における知識の矛盾の診断と緩和

Core Concepts

イベントの時間的関係を特定する際に、実際の時間的関係とモデルが学習した事前知識や偏見との間に矛盾が生じる問題を診断し、緩和する。

Abstract

本論文は、イベントの時間的推論における知識の矛盾問題を研究している。 まず、4つの種類の偏見(関係の事前バイアス、テンス・バイアス、ナラティブ・バイアス、依存関係バイアス)を定義し、これらの偏見に反する事例を知識の矛盾事例として特定する。 次に、これらの知識の矛盾を緩和するために、Counterfactual Data Augmentation (CDA)と呼ばれる手法を提案する。CDAsは、事前学習言語モデル(PLM)の fine-tuning時や、大規模言語モデル(LLM)のIn-Context Learningに適用できる。 実験の結果、PLMとLLMの両方がイベントの時間的推論において知識の矛盾に悩まされていることが示された。また、提案のCDA手法は、知識の矛盾を緩和し、全体的なパフォーマンスを向上させることができることが確認された。

Stats

見る(see)の前に病気(sick)になる事例は3件 見る(see)の後に病気(sick)になる事例は8件

Quotes

なし

Key Insights Distilled From

Getting Sick After Seeing a Doctor? Diagnosing and Mitigating Knowledge Conflicts in Event Temporal Reasoning

by Tianqing Fan... at arxiv.org 04-09-2024

https://arxiv.org/pdf/2305.14970.pdf

Deeper Inquiries

イベントの時間的推論における知識の矛盾は、他のタスクにも同様の問題が存在するのだろうか?

イベントの時間的推論における知識の矛盾は、他の自然言語理解タスクでも同様の問題が存在する可能性があります。他のタスクにおいても、文脈と事象の関係に基づいて推論を行う際に、学習済みモデルが事前に獲得した知識やバイアスと文脈情報との不一致が生じることが考えられます。例えば、質問応答システムにおいて、文脈に基づいて正しい回答を導く際に、モデルが学習した事象間の関係と文脈情報とが矛盾する場合があるかもしれません。したがって、知識の矛盾はイベントの時間的推論に限らず、他の自然言語理解タスクでも重要な課題として考えられます。