Eine Studie darüber, wie die Aufmerksamkeitswerte im BERT-Modell die lexikalischen Kategorien in syntaktischen und semantischen Aufgaben auf dem GLUE-Benchmark erkennen

Die Aufmerksamkeitswerte in BERT-Modellen ändern sich während des Feinabstimmungsprozesses für bestimmte Downstream-Aufgaben signifikant in Abhängigkeit von den lexikalischen Kategorien (Inhaltswörter und Funktionswörter) und den Zielen der Aufgabe.