Основные понятия
Bestehende Evaluationsverfahren für Community-Modelle zur Erkennung schädlicher Inhalte in sozialen Netzwerken vernachlässigen die ständige Weiterentwicklung von Online-Inhalten und -Gemeinschaften. Ein realistischeres Evaluationsverfahren, das auf wenigen Beispielen basierende Anpassungsfähigkeit testet, zeigt, dass Standard-Community-Modelle Schwierigkeiten haben, auf neue Graphen, Domänen und Aufgaben zu generalisieren. Meta-Lernende, die mit diesem Verfahren trainiert werden, schneiden hingegen besser ab.
Аннотация
Der Artikel untersucht die Generalisierungsfähigkeit von Community-Modellen zur Erkennung schädlicher Inhalte in sozialen Netzwerken. Bestehende Evaluationsverfahren basieren auf statischen Graphen und vernachlässigen die ständige Weiterentwicklung von Online-Inhalten und -Gemeinschaften.
Um eine realistischere Evaluation zu ermöglichen, schlagen die Autoren ein neues Verfahren vor, das auf wenigen Beispielen basierende Anpassungsfähigkeit testet. Dazu wird ein Ansatz zum Sampling von Teilgraphen entwickelt, der lokale Kontexte, begrenzte Informationen und wenige Etiketten berücksichtigt.
Die Experimente zeigen, dass Standard-Community-Modelle Schwierigkeiten haben, auf neue Graphen, Domänen und Aufgaben zu generalisieren. Meta-Lernende, die mit dem vorgeschlagenen Sampling-Verfahren trainiert werden, schneiden hingegen besser ab. Insbesondere Modelle mit prototypischer Initialisierung erzielen vielversprechende Ergebnisse.
Die Autoren argumentieren, dass die derzeitige Evaluation von Community-Modellen deren Leistungsfähigkeit in realistischen Anwendungsszenarien nicht angemessen widerspiegelt. Sie hoffen, dass diese Arbeit ähnliche Fortschritte in der Community-Modellierung anregt, wie sie in der Erkennung schädlicher Inhalte ohne Netzwerkkontext zu beobachten sind.
Статистика
Die Kombination von Konnektivität und Anonymität in sozialen Medien ermöglicht die weite Verbreitung schädlicher Inhalte.
Bestehende Evaluationsverfahren für Community-Modelle basieren auf statischen Graphen und vernachlässigen die ständige Weiterentwicklung von Online-Inhalten und -Gemeinschaften.
Auf dem GossipCop-Datensatz erreichen Standard-Community-Modelle nahezu perfekte Leistung, generalisieren aber schlecht auf neue Graphen, Domänen und Aufgaben.
Meta-Lernende, die mit dem vorgeschlagenen Sampling-Verfahren trainiert werden, schneiden bei der induktiven Generalisierung deutlich besser ab.
Цитаты
"Evidently, there exists a mismatch in the performance of community models on research datasets and in more realistic application settings."
"Inductive evaluation is needed."
"Regardless, the fact that a model trained specifically with generalisation in mind is barely able to outperform one with random weights is striking, and speaks to the inadequacy of GossipCop as an evaluation dataset."