Wie Spam- und Betrugsakteure KI-generierte Bilder auf Facebook für Zielgruppenwachstum nutzen

Kernkonzepte

Spam- und Betrugsakteure nutzen bereits KI-generierte Bilder, um auf Facebook erhebliche Reichweite zu erzielen.
Teilweise werden diese Bilder sogar vom Facebook-Newsfeed an Nutzer empfohlen, die den Seiten nicht folgen, was die Notwendigkeit von mehr Transparenz und Herkunftsstandards bei der Verbreitung von KI-Modellen zeigt.

Zusammenfassung

Die Studie zeigt, dass Spam- und Betrugsakteure sowie andere Ersteller auf Facebook große Mengen an nicht gekennzeichneten KI-generierten Bildern posten, die hohe Engagement-Zahlen erzielen. Viele Nutzer scheinen nicht zu erkennen, dass es sich um synthetische Inhalte handelt.
Es wurden 120 Facebook-Seiten untersucht, die mindestens 50 KI-generierte Bilder posteten. Diese Seiten hatten im Durchschnitt 128.877 Follower und erhielten insgesamt hunderte Millionen Interaktionen. Spam-Seiten nutzten Clickbait-Taktiken, um Nutzer auf externe Domains zu leiten, während Betrugs-Seiten vermeintliche Produkte verkauften oder persönliche Daten abzugreifen versuchten. Teilweise wurden auch bekannte Taktiken wie Seitentransfers oder -übernahmen eingesetzt.
Der Facebook-Newsfeed zeigte den Nutzern teilweise diese nicht gekennzeichneten KI-Bilder, auch wenn sie den Seiten nicht folgten. Der Anteil der "unverbundenen Beiträge" im Newsfeed stieg von 8% im Jahr 2021 auf 24% im Jahr 2023.
Eine Minderheit der Nutzer erkannte die synthetischen Bilder und warnte andere vor Betrug. Facebook kündigte an, KI-generierte Inhalte zukünftig zu kennzeichnen, was aber bisher nur vereinzelt umgesetzt wurde.

Statistiken

Eine KI-generierte Bildpost war einer der 20 meistgesehenen Inhalte auf Facebook im 3. Quartal 2023 mit 40 Millionen Aufrufen und über 1,9 Millionen Interaktionen.
Der Anteil "unverbundener Beiträge" im Facebook-Newsfeed stieg von 8% im Jahr 2021 auf 24% im Jahr 2023.
Einige Seiten verzeichneten einen massiven Anstieg der Follower-Zahlen nach einer Namensänderung, z.B. von 9.400 auf 300.000 Follower.

Zitate

"Facebook hat sich in einen endlosen Strom von Midjourney-KI-Fotos verwandelt und es scheint, als hätte das fast niemand bemerkt."
"Die meisten Inhalte sind KI-GENERIERT, also gefälscht."

Wichtige Erkenntnisse aus

How Spammers and Scammers Leverage AI-Generated Images on Facebook for Audience Growth

by Renee DiRest... um arxiv.org 03-20-2024

https://arxiv.org/pdf/2403.12838.pdf

Tiefere Fragen

Wie können Nutzer besser für die Erkennung von KI-generierten Inhalten sensibilisiert werden?

Um Nutzer besser für die Erkennung von KI-generierten Inhalten zu sensibilisieren, sollten verschiedene Maßnahmen ergriffen werden. Zunächst ist es wichtig, Aufklärungskampagnen durchzuführen, die die Öffentlichkeit über die Existenz und Verbreitung von KI-generierten Inhalten informieren. Dies kann durch gezielte Informationskampagnen in den sozialen Medien, Schulungen für Internetnutzer und die Integration von Warnhinweisen in Plattformen erfolgen. Darüber hinaus sollten Social-Media-Unternehmen verpflichtet werden, KI-generierte Inhalte zu kennzeichnen, um die Transparenz zu erhöhen und die Nutzer darüber zu informieren, wenn sie mit synthetischen Inhalten interagieren. Durch die Kombination von Aufklärung, Kennzeichnung und Transparenzmaßnahmen können Nutzer besser für die Erkennung von KI-generierten Inhalten sensibilisiert werden.

Welche Anreize haben Betreiber von Spam- und Betrugsseiten, KI-Bilder zu verwenden, und wie können diese Anreize reduziert werden?

Die Betreiber von Spam- und Betrugsseiten haben verschiedene Anreize, KI-Bilder zu verwenden, darunter die Fähigkeit, schnell und kostengünstig große Mengen an visuell ansprechenden Inhalten zu erstellen, die Aufmerksamkeit erregen und das Engagement steigern. Diese Betreiber können von der Viralität und der hohen Interaktionsrate profitieren, die mit KI-generierten Bildern einhergehen. Um diese Anreize zu reduzieren, sollten Social-Media-Plattformen strengere Richtlinien für die Verwendung von KI-generierten Inhalten einführen und Maßnahmen ergreifen, um die Verbreitung von Spam- und Betrugsseiten einzudämmen. Darüber hinaus sollten Nutzer über die Risiken und Auswirkungen von KI-generierten Inhalten aufgeklärt werden, um ihre Wachsamkeit zu erhöhen und sie vor betrügerischen Praktiken zu schützen.

Welche Auswirkungen hat die zunehmende Verbreitung von synthetischen Inhalten auf das allgemeine Vertrauen in Medien und Informationen?

Die zunehmende Verbreitung von synthetischen Inhalten hat erhebliche Auswirkungen auf das allgemeine Vertrauen in Medien und Informationen. Da KI-generierte Inhalte immer realistischer werden und schwer von echten Inhalten zu unterscheiden sind, besteht die Gefahr, dass das Vertrauen der Öffentlichkeit in die Authentizität von Informationen und Medieninhalten untergraben wird. Dies kann zu einer Verbreitung von Fehlinformationen, Desinformation und Betrug führen, da Nutzer Schwierigkeiten haben, zwischen echten und synthetischen Inhalten zu unterscheiden. Um das Vertrauen in Medien und Informationen zu stärken, ist es entscheidend, Maßnahmen zu ergreifen, um die Transparenz von synthetischen Inhalten zu verbessern, Nutzer aufzuklären und die Kennzeichnung von KI-generierten Inhalten zu fördern.