Die Studie untersucht die Effektivität und Anpassungsfähigkeit von vortrainierten und feinabgestimmten Large Language Models (LLMs) bei der Erkennung von Hassrede, um drei zentrale Fragen zu beantworten:
Die Experimente zeigen, dass LLMs selbst ohne Finetuning einen enormen Vorteil gegenüber dem Stand der Technik bieten. Bei der Analyse von 36 domänenspezifischen Klassifikatoren, die LLaMA, Vicuna und deren Varianten in vortrainierten und feinabgestimmten Zuständen über neun öffentlich verfügbare Datensätze hinweg umfassen, zeigt sich, dass die Leistung stark von der Verteilung der Hassrede-Etiketten im Trainingsdatensatz abhängt.
Bei der Bewertung von 288 domänenübergreifenden Klassifikatoren für einen bestimmten End-Domänen-Datensatz zeigt sich, dass Modelle, die auf dem Gab-Datensatz feinabgestimmt wurden, die beste Generalisierbarkeit aufweisen, mit Ausnahme des ICWSM-Datensatzes (aus Twitter), wo ein auf HASOC (ebenfalls aus Twitter) feinabgestimmtes Modell am besten abschneidet.
Die Regressionsanalysen legen nahe, dass die Vorteile feinkörniger Hassrede-Etiketten größer sind, wenn die Trainingsdatensätze klein sind, aber bei Zunahme der Datensatzgröße abnehmen. Die Studie schließt mit einer Vision für die Zukunft der Hassrede-Erkennung, die den Schwerpunkt auf domänenübergreifende Generalisierbarkeit und geeignete Benchmarking-Praktiken legt.
Vers une autre langue
à partir du contenu source
arxiv.org
Questions plus approfondies