Centrala begrepp
低資源地域(アフリカ)由来のエンティティ名称変更に対するマシンリーディング理解モデルの堅牢性を評価し、特に人名、組織名、地名などの特定のエンティティ種類が堅牢性に課題を与えることを明らかにした。
Sammanfattning
本研究では、マシンリーディング理解(MRC)モデルの堅牢性を評価するために、SQuAD2.0データセットのデベロップメントセットを改変し、アフリカ由来のエンティティ名称に置き換えたAfriSQuAD2データセットを作成した。
実験の結果、以下のことが明らかになった:
- 大規模モデルは小規模モデルに比べ、新規エンティティに対してより良好なパフォーマンスを示す。
- 人名、組織名、地名などのエンティティ種類を置き換えると、モデルのパフォーマンスが大きく低下する。これは、これらのエンティティ種類に関する知識がモデルに十分に備わっていないためと考えられる。
- 国名、都市名、国籍などのエンティティ種類を置き換えた場合、モデルのパフォーマンス低下は相対的に小さい。
このように、MRCモデルの堅牢性には課題があり、特に低資源地域由来のエンティティに関する知識が不足していることが明らかになった。今後、より多様なエンティティ知識を備えたロバストなMRCモデルの開発が期待される。
Statistik
人名エンティティの置換により、BERT-largeモデルのExact Matchスコアが15.56%低下した。
人名、組織名、地名のエンティティ種類を置換した場合、モデルのパフォーマンスが最も大きく低下した。
Citat
"大規模モデルは小規模モデルに比べ、新規エンティティに対してより良好なパフォーマンスを示す。"
"人名、組織名、地名などのエンティティ種類を置き換えると、モデルのパフォーマンスが大きく低下する。"
"国名、都市名、国籍などのエンティティ種類を置き換えた場合、モデルのパフォーマンス低下は相対的に小さい。"