Centrala begrepp
BERTモデルの注目スコアは、下流タスクの微調整プロセス中に、語彙カテゴリに基づいて大幅に変化することを示す。
Statistik
この研究では、GLUEベンチマークデータセットから6つのタスクで実験が行われた。
下流タスクごとに特定のレキシカルカテゴリへの注意力が増加または減少したことが示唆されている。
Citat
"BERT(Devlin et al.、2018)は、特定のレイヤーが構文および意味論的知識を捉えることを明らかにした。"
"我々は初期仮説を裏付ける実験結果を確証しました。"