Основные понятия
生成モデルと生物医学知識を活用したデータ拡張手法により、数値推論能力と語彙の多様性を高め、自然言語推論モデルの頑健性を大幅に向上させた。
Аннотация
本研究は、SemEval-2024 Task 2の課題に取り組むものである。臨床試験報告書(CTR)の自然言語推論(NLI)は、医療分野における重要な課題であるが、大規模言語モデルの偏りや短絡的学習の問題に直面している。
本研究では以下の3つのデータ拡張手法を提案した:
- 数値問題-答え生成: CTRから数値推論を必要とする問題-答えペアを生成し、モデルの数値推論能力を向上させる。
- 意味的摂動: 生成モデルを用いて、元の記述文に対する意味的に等価な文と矛盾する文を生成する。
- 生物医学用語の置換: 生物医学知識グラフを活用し、CTR中の重要語を類似の生物医学用語に置換する。
これらの拡張データを、DeBERTaアーキテクチャと多タスク学習と組み合わせることで、NLI4CT 2024ベンチマークにおいて頑健性(faithfulness、consistency)が大幅に向上した。特に、意味的摂動が最も大きな効果を発揮した。一方で、拡張データの追加により、元のデータセットに対する性能が若干低下する傾向も見られた。
今後の課題として、より高品質な数値問題-答え生成、拡張データの妥当性検証、外部構造化知識の活用などが考えられる。
Статистика
57%の患者がコホート1の主要試験で手術時に病理学的完全奏効率を示した。
57%のコホート2の患者が主要試験で手術時に病理学的完全奏効率を示した、ではなくコホート1の患者である。
57%のコホート1の患者が主要試験で手術時に強制的完全奏効率を示した。
Цитаты
"生成モデルと生物医学知識を活用したデータ拡張手法により、数値推論能力と語彙の多様性を高め、自然言語推論モデルの頑健性を大幅に向上させた。"
"特に、意味的摂動が最も大きな効果を発揮した。"
"一方で、拡張データの追加により、元のデータセットに対する性能が若干低下する傾向も見られた。"