Główne pojęcia
Große Sprachmodelle (LLMs) bieten einen erheblichen Vorteil gegenüber dem Stand der Technik bei der Erkennung von Hassrede, auch ohne vorheriges Finetuning. Die Leistung der Modelle hängt stark von der Verteilung der Etiketten im Trainingsdatensatz ab, wobei feinkörnige Hassrede-Etiketten bei kleinen Datensätzen von Vorteil sind, dieser Effekt aber bei größeren Datensätzen verschwindet.
Streszczenie
Die Studie untersucht die Effektivität und Anpassungsfähigkeit von vortrainierten und feinabgestimmten Large Language Models (LLMs) bei der Erkennung von Hassrede, um drei zentrale Fragen zu beantworten:
- Inwieweit hängt die Modellleistung von den Finetuning- und Trainingparametern ab?
- Inwieweit generalisieren die Modelle zur domänenübergreifenden Erkennung von Hassrede?
- Welche spezifischen Merkmale der Datensätze oder Modelle beeinflussen das Generalisierungspotenzial?
Die Experimente zeigen, dass LLMs selbst ohne Finetuning einen enormen Vorteil gegenüber dem Stand der Technik bieten. Bei der Analyse von 36 domänenspezifischen Klassifikatoren, die LLaMA, Vicuna und deren Varianten in vortrainierten und feinabgestimmten Zuständen über neun öffentlich verfügbare Datensätze hinweg umfassen, zeigt sich, dass die Leistung stark von der Verteilung der Hassrede-Etiketten im Trainingsdatensatz abhängt.
Bei der Bewertung von 288 domänenübergreifenden Klassifikatoren für einen bestimmten End-Domänen-Datensatz zeigt sich, dass Modelle, die auf dem Gab-Datensatz feinabgestimmt wurden, die beste Generalisierbarkeit aufweisen, mit Ausnahme des ICWSM-Datensatzes (aus Twitter), wo ein auf HASOC (ebenfalls aus Twitter) feinabgestimmtes Modell am besten abschneidet.
Die Regressionsanalysen legen nahe, dass die Vorteile feinkörniger Hassrede-Etiketten größer sind, wenn die Trainingsdatensätze klein sind, aber bei Zunahme der Datensatzgröße abnehmen. Die Studie schließt mit einer Vision für die Zukunft der Hassrede-Erkennung, die den Schwerpunkt auf domänenübergreifende Generalisierbarkeit und geeignete Benchmarking-Praktiken legt.
Statystyki
Die Verwendung feinabgestimmter Modelle führt in den meisten Fällen zu einer Verbesserung der domänenübergreifenden Leistung im Vergleich zu den Basismodellen.
Modelle, die auf dem Gab-Datensatz feinabgestimmt wurden, zeigen die beste domänenübergreifende Generalisierbarkeit, mit Ausnahme des ICWSM-Datensatzes, wo ein auf HASOC feinabgestimmtes Modell am besten abschneidet.
Die Vorteile feinkörniger Hassrede-Etiketten sind größer, wenn die Trainingsdatensätze klein sind, aber verschwinden bei größeren Datensätzen.
Cytaty
"LLMs bieten einen enormen Vorteil gegenüber dem Stand der Technik, selbst ohne vorheriges Finetuning."
"Die Leistung hängt stark von der Verteilung der Hassrede-Etiketten im Trainingsdatensatz ab."
"Modelle, die auf dem Gab-Datensatz feinabgestimmt wurden, zeigen die beste domänenübergreifende Generalisierbarkeit."