Neuer Datensatz für die Erkennung von schädlichen und beleidigenden Inhalten in der polnischen Sprache

Core Concepts

Der BAN-PL-Datensatz bietet einen umfassenden Einblick in die Moderation von Inhalten in sozialen Medien und stellt einen neuen Ressourcenpool für die Erkennung von beleidigenden und schädlichen Inhalten in der polnischen Sprache bereit.

Abstract

Der BAN-PL-Datensatz wurde in Zusammenarbeit zwischen der NASK National Research Institute (Warschau) und der Plattform Wykop.pl erstellt. Er umfasst insgesamt 691.662 Beiträge und Kommentare, die von Nutzern als schädlich gemeldet und von professionellen Moderatoren entfernt wurden. Der Datensatz ist in zwei gleichgroße Klassen unterteilt: "schädlich" und "neutral" (nicht schädlich). Der Datensatz bietet wertvolle Einblicke in den realen Prozess der Inhaltsmoderationsprozesse und analysiert die linguistischen Merkmale und Charakteristika der Datensätze. Darüber hinaus wurde ein umfassendes Anonymisierungsverfahren sorgfältig beschrieben und angewendet. Die in ähnlichen Datensätzen auftretenden Verzerrungen, einschließlich Post-Moderations- und Vorauswahl-Verzerrungen, werden ebenfalls diskutiert. Der veröffentlichte Teilsatz von 24.000 Proben wurde manuell überprüft und validiert. Weitere Veröffentlichungen des gesamten Datensatzes sind geplant, wobei der Schwerpunkt auf der Verbesserung der Anonymisierung und der Bereitstellung zusätzlicher Analyseskripte liegt.

Stats

Die Mehrheit der Beiträge und Kommentare im BAN-PL-Datensatz sind kurze Texte, aber es gibt auch längere narrative Formen wie "Copypastas". Die durchschnittliche Tokenlänge beträgt 34,88 für die schädliche Klasse und 40,90 für die neutrale Klasse.

Quotes

"Genau diese Modelle blockieren solche Inhalte, was es kaum möglich macht, sie zu analysieren oder zu erstellen." "Wykop.pl wurde im Dezember 2005 als Äquivalent zum Digg.com-Webdienst gegründet und wird oft als das polnische Reddit bezeichnet." "Moderatoren wurden aus der Wykop.pl-Nutzergemeinschaft rekrutiert und haben eine spezielle Schulung durchlaufen."

Key Insights Distilled From

BAN-PL

by Anna... at arxiv.org 03-27-2024

https://arxiv.org/pdf/2308.10592.pdf

Deeper Inquiries

Wie können die Erkenntnisse aus dem BAN-PL-Datensatz genutzt werden, um die Moderation von Inhalten in anderen Sprachen und Kontexten zu verbessern?

Die Erkenntnisse aus dem BAN-PL-Datensatz können auf verschiedene Weisen genutzt werden, um die Moderation von Inhalten in anderen Sprachen und Kontexten zu verbessern. Zunächst einmal bietet der BAN-PL-Datensatz eine umfangreiche Sammlung von Texten, die als schädlich eingestuft wurden und von professionellen Moderatoren überwacht wurden. Diese Daten können als Trainingsdaten für maschinelle Lernalgorithmen dienen, um die automatisierte Erkennung von beleidigenden und schädlichen Inhalten in anderen Sprachen zu verbessern. Darüber hinaus können die spezifischen Merkmale des BAN-PL-Datensatzes, wie die Vielfalt der Themen und die Art der beleidigenden Sprache, dazu beitragen, Modelle zu entwickeln, die besser in der Lage sind, verschiedene Arten von Hassrede und Cybermobbing zu erkennen. Dies könnte dazu beitragen, die Effektivität von Content-Moderationswerkzeugen in verschiedenen Sprachen und Online-Plattformen zu verbessern. Schließlich könnten die Erkenntnisse aus dem BAN-PL-Datensatz dazu beitragen, bewährte Verfahren für die Moderation von Inhalten in Online-Gemeinschaften zu entwickeln und zu verbreiten. Durch die Analyse der Moderationsprozesse und der linguistischen Merkmale des Wykop.pl-Diskurses können Richtlinien und Strategien entwickelt werden, die zur Verbesserung der Online-Sicherheit und zur Bekämpfung von Hassrede und beleidigendem Verhalten beitragen.

Wie können die spezifischen linguistischen Merkmale des Wykop.pl-Diskurses auf die Übertragbarkeit von Modellen, die auf dem BAN-PL-Datensatz trainiert wurden, auswirken?

Die spezifischen linguistischen Merkmale des Wykop.pl-Diskurses, wie die Verwendung von informeller Sprache, Grammatik- und Rechtschreibfehlern, sowie die Kreativität bei der Verwendung von Emojis und Emoticons, könnten die Übertragbarkeit von Modellen, die auf dem BAN-PL-Datensatz trainiert wurden, beeinflussen. Da diese Merkmale spezifisch für den Wykop.pl-Diskurs sind, könnten Modelle, die auf diesen Daten trainiert wurden, möglicherweise Schwierigkeiten haben, sich auf andere Sprachen und Kontexte zu übertragen. Insbesondere die Verwendung von spezifischen Schreibweisen, wie z.B. die Ersetzung von Buchstaben durch Zahlen oder Sonderzeichen, sowie die Verwendung von phonetischer Rechtschreibung, könnten dazu führen, dass Modelle, die auf dem BAN-PL-Datensatz trainiert wurden, Schwierigkeiten haben, ähnliche Muster in anderen Sprachen zu erkennen. Darüber hinaus könnten die kulturellen und soziolinguistischen Unterschiede zwischen dem Wykop.pl-Diskurs und anderen Online-Plattformen die Übertragbarkeit von Modellen beeinträchtigen. Es ist wichtig, bei der Anwendung von Modellen, die auf dem BAN-PL-Datensatz trainiert wurden, in anderen Sprachen und Kontexten Vorsicht walten zu lassen und möglicherweise Anpassungen vorzunehmen, um die Leistungsfähigkeit und Genauigkeit der Modelle zu gewährleisten.

Wie können die Erkenntnisse aus dem BAN-PL-Datensatz dazu beitragen, das Verständnis von Hassrede und beleidigendem Verhalten in Online-Gemeinschaften zu vertiefen?

Die Erkenntnisse aus dem BAN-PL-Datensatz können dazu beitragen, das Verständnis von Hassrede und beleidigendem Verhalten in Online-Gemeinschaften zu vertiefen, indem sie Einblicke in die Art und Verbreitung solcher Inhalte bieten. Durch die Analyse der linguistischen Merkmale, Themen und Kontexte der im BAN-PL-Datensatz enthaltenen Texte können Forscher und Experten ein umfassenderes Verständnis der Mechanismen und Motivationen hinter Hassrede und beleidigendem Verhalten entwickeln. Darüber hinaus können die Erkenntnisse aus dem BAN-PL-Datensatz dazu beitragen, bewährte Verfahren für die Moderation von Inhalten in Online-Gemeinschaften zu entwickeln und zu verbreiten. Indem sie die Effektivität von Moderationsstrategien und -richtlinien bewerten und analysieren, können Forscher und Plattformbetreiber Maßnahmen ergreifen, um die Verbreitung von Hassrede und beleidigendem Verhalten einzudämmen und die Online-Sicherheit zu verbessern. Durch die vertiefte Analyse des BAN-PL-Datensatzes können auch neue Erkenntnisse über die Auswirkungen von Hassrede und beleidigendem Verhalten auf die Opfer, die Online-Gemeinschaften und die Gesellschaft insgesamt gewonnen werden. Dies kann dazu beitragen, gezielte Maßnahmen zur Prävention und Bekämpfung von Hassrede zu entwickeln und das Bewusstsein für die Bedeutung eines respektvollen und sicheren Online-Umfelds zu schärfen.