核心概念
Der Datensatz OBSINFOX enthält 100 Artikel aus als unzuverlässig eingestuften französischen Pressequellen, die von 8 Annotatoren anhand von 11 Etiketten annotiert wurden. Ziel ist es, die Merkmale zu identifizieren, die Menschen als charakteristisch für Falschmeldungen betrachten, und sie mit den Vorhersagen automatischer Klassifikatoren zu vergleichen.
要約
Der Artikel beschreibt die Erstellung und Annotation des Datensatzes OBSINFOX, der 100 Artikel aus als unzuverlässig eingestuften französischen Pressequellen umfasst. Die Artikel wurden von 8 Annotatoren anhand von 11 Etiketten annotiert, um die Merkmale zu identifizieren, die Menschen als charakteristisch für Falschmeldungen betrachten, und sie mit den Vorhersagen automatischer Klassifikatoren zu vergleichen.
Die Analyse des Korpus zeigt, dass etwa die Hälfte der Artikel einen satirischen Stil aufweisen. Die Annotationen der Menschengruppe zeigen eine moderate Übereinstimmung, wobei die Etiketten "Subjektiv", "Meinung", "Übertreibung", "Falschmeldung" und "Falsche Information" am stärksten korrelieren.
Der Einsatz des Textanalysewerkzeugs VAGO zeigt, dass Marker für Subjektivität in den Texten stärker mit den Etiketten "Subjektiv" und "Meinung" als mit dem Etikett "Falschmeldung" zusammenhängen. Dies deutet darauf hin, dass Falschheit ein separater Bestandteil des Etiketts "Falschmeldung" ist, der über die bloße Subjektivität hinausgeht.
統計
Der Datensatz OBSINFOX umfasst 100 Artikel aus 17 als unzuverlässig eingestuften französischen Pressequellen.
Die Artikel wurden von 8 Annotatoren anhand von 11 Etiketten annotiert.
Die Annotationen zeigen eine moderate Übereinstimmung mit einem Fleiss-Kappa-Wert von 0,47 im Durchschnitt.
引用
"Neben 'Übertreibung' wurde auch das Etikett 'Andeutung' aufgenommen, um indirekte abwertende Techniken (wie Hundepfeifen) zu erkennen."
"59% der als 'Falschmeldung' gekennzeichneten Artikel wurden auch als 'Falsche Information' gekennzeichnet, während 96% der als 'Falsche Information' gekennzeichneten Artikel auch als 'Falschmeldung' galten."
"Die Korrelationen sind schwach bis moderat, aber in der Größenordnung der in früheren Studien gefundenen Werte und sogar höher bei den Etiketten 'Meinung' und 'Subjektiv', die direkt mit VAGOs Meinungswert verbunden sind."