BERTモデルの注目スコアがGLUEベンチマークの構文および意味タスクでどのように語彙カテゴリを認識しているかに関する研究

BERTモデルの注目スコアは、下流タスクの微調整プロセス中に、語彙カテゴリに基づいて大幅に変化することを示す。