Die Studie präsentiert einen Ansatz namens INFFEED, der Einflussanalyse nutzt, um die Leistung von Textklassifizierungsmodellen für subjektive Aufgaben zu verbessern.
Zunächst wird das Trainingsset in zwei Teilmengen aufgeteilt - eine größere Teilmenge TPR und eine kleinere Teilmenge TCR. Ein Modell θA wird auf TPR trainiert. Für jede Instanz in TCR werden dann die einflussreichsten Trainingsdaten aus TPR identifiziert. Basierend auf der Mehrheit/gewichteten Abstimmung der Etiketten dieser einflussreichen Instanzen wird das Etikett der Instanz in TCR aktualisiert. Das aktualisierte TCR wird dann verwendet, um das Modell θA weiterzutrainieren, um das finale Modell θB zu erhalten.
Die Ergebnisse zeigen, dass INFFEED die Leistung im Vergleich zu state-of-the-art-Baselines deutlich verbessert, und zwar um bis zu 4% für Hassrede-Erkennung, 3,5% für Standpunktklassifizierung sowie 3% und 2% für Ironie- und Sarkasmuserkennung.
Darüber hinaus zeigt die Studie, dass durch das Korrigieren der Etiketten nur der Datenpunkte, die einen negativen Einfluss haben, die Leistung sehr nah an das Szenario herankommt, in dem der gesamte Erweiterungsdatensatz goldannotiert ist. Dies ermöglicht eine erhebliche Reduzierung der manuell zu annotierenden Datenpunkte, da nur etwa 1/1000 der Erweiterungsdaten manuell korrigiert werden müssen.
翻譯成其他語言
從原文內容
arxiv.org
深入探究