Visuelle Analyse der Repräsentationsstruktur von Encoder-basierten Large Language Models

Dieser Artikel untersucht die Anwendung von DeepView, einem Werkzeug zur visuellen Inspektion der Entscheidungsfunktion von Klassifikationsmodellen, auf Encoder-basierte Large Language Models wie BERT. Die Autoren zeigen, wie DeepView eingesetzt werden kann, um die Repräsentationsstruktur dieser Modelle in verschiedenen Trainingsszenarien zu analysieren, einschließlich des Aufspürens von Adversarial Attacks, der Untersuchung von Synergien in Multi-Task-Modellen und des Vergleichs von Klassifikationsstrategien zwischen Modellen.