AI 생성 이미지를 활용한 스패머와 사기꾼들의 Facebook 팔로워 늘리기

Core Concepts

스패머와 사기꾼들이 Facebook에서 AI 생성 이미지를 활용하여 대규모 팔로워를 확보하고 있으며, 많은 사용자들이 이러한 이미지가 합성된 것을 인식하지 못하고 있다.

Abstract

연구팀은 Facebook에서 최소 50개 이상의 AI 생성 이미지를 게시한 120개의 페이지를 분석했다. 이 페이지들은 스패밍, 사기, 기타 창작자 등으로 분류되었으며, 일부는 연계된 클러스터를 형성하고 있었다.
이 페이지들의 게시물들은 수억 건의 상호작용과 노출을 기록했다. 한 게시물은 2023년 3분기 Facebook에서 가장 많이 조회된 20개 콘텐츠 중 하나였다.
스패밍 페이지는 클릭베이트 전략을 사용하여 사용자를 외부 도메인이나 저품질 웹사이트로 유도했다. 사기 페이지는 존재하지 않는 제품을 판매하거나 개인 정보를 유출하려 했다.
Facebook 피드는 때때로 사용자가 팔로우하지 않은 페이지의 AI 생성 이미지를 추천하고 있다. 이는 Facebook 알고리즘이 상호작용을 유발할 가능성이 높은 콘텐츠를 우대하기 때문으로 보인다.
일부 사용자들은 이미지가 AI 생성된 것을 인식하고 경고하는 댓글을 남겼지만, 대부분의 사용자들은 이를 알아차리지 못하는 것으로 보인다.

Stats

"이것이 제 첫 번째 케이크입니다! 평가해 주시면 감사하겠습니다."라는 문구가 포함된 게시물들이 2023년 12월부터 2024년 3월까지 100만 건 이상의 상호작용을 기록했다.
크랩 예수 이미지 게시물은 20만 9천 건의 상호작용과 4천 건 이상의 댓글을 받았다.
2023년 3분기 Facebook에서 가장 많이 조회된 20개 콘텐츠 중 하나는 AI 생성 이미지 게시물이었다. 이 게시물은 4천만 회 조회와 190만 건의 상호작용을 기록했다.

Quotes

"Facebook이 Midjourney AI 사진으로 가득 차 있고 아무도 그것을 알아차리지 못하는 것 같습니다."
"대부분 가짜/AI입니다."
"모든 콘텐츠가 AI 생성되어 가짜입니다."

Key Insights Distilled From

How Spammers and Scammers Leverage AI-Generated Images on Facebook for Audience Growth

by Renee DiRest... at arxiv.org 03-20-2024

https://arxiv.org/pdf/2403.12838.pdf

Deeper Inquiries

AI 생성 이미지의 확산이 온라인 정보 생태계에 미치는 장기적인 영향은 무엇일까?

AI 생성 이미지의 확산은 온라인 정보 생태계에 다양한 장기적인 영향을 미칠 수 있습니다. 먼저, AI 생성 이미지를 통해 스팸 및 사기 행위가 증가할 수 있으며, 이는 온라인 플랫폼의 신뢰성을 훼손시킬 수 있습니다. 또한, 사용자들이 AI 생성 이미지를 실제 이미지와 구별하기 어려워질 수 있어 정보의 신뢰성과 진실성에 대한 의심이 증가할 수 있습니다. 또한, AI 생성 이미지를 악용한 정보 조작이 증가할 경우, 사회적 분열이나 혼란을 초래할 수 있으며, 이는 더 넓은 사회적 영향을 미칠 수 있습니다. 따라서 AI 생성 이미지의 확산은 온라인 정보 생태계의 건전성과 안정성에 부정적인 영향을 미칠 수 있습니다.

AI 생성 이미지에 대한 사용자들의 인식 제고를 위해 어떤 접근 방식이 효과적일까?

AI 생성 이미지에 대한 사용자들의 인식을 제고하기 위해서는 다양한 접근 방식이 필요합니다. 먼저, 소셜 미디어 플랫폼은 AI 생성 이미지를 감지하고 라벨링하는 기술적인 개선을 통해 사용자들에게 AI 생성 이미지임을 명확히 알려줄 수 있습니다. 또한, 사용자들에게 AI 생성 이미지의 특징과 구별 방법에 대해 교육하는 공익 광고나 정보 캠페인을 통해 인식을 높일 수 있습니다. 또한, 사용자들이 AI 생성 이미지를 식별하고 의심할 수 있는 도구나 확장 프로그램을 제공하여 개인적인 방어 전략을 구축할 수 있도록 지원하는 것도 효과적일 수 있습니다.

AI 생성 이미지를 활용한 스패밍과 사기 행위를 근본적으로 해결하기 위해서는 어떤 정책적 대응이 필요할까?

AI 생성 이미지를 활용한 스패밍과 사기 행위를 근본적으로 해결하기 위해서는 다음과 같은 정책적 대응이 필요합니다. 먼저, 소셜 미디어 기업은 AI 생성 이미지를 탐지하고 제거하는 기술적인 방법을 개발하고 적용해야 합니다. 또한, AI 생성 이미지를 사용하는 페이지나 계정을 식별하고 차단하는 정책을 강화해야 합니다. 더불어, 사용자들에게 AI 생성 이미지의 존재와 위험성에 대해 알리고 교육하는 정책을 시행하여 인식을 높일 필요가 있습니다. 또한, 법적인 제재와 처벌을 강화하여 AI 생성 이미지를 악용하는 행위자들을 단호히 처벌하는 것도 중요합니다. 이러한 종합적인 정책적 대응을 통해 AI 생성 이미지를 활용한 스패밍과 사기 행위를 효과적으로 근절할 수 있을 것으로 기대됩니다.