Core Concepts
대규모 비전-언어 모델을 활용하여 사용자 생성 콘텐츠 게임의 불법적인 온라인 이미지 홍보를 효과적으로 탐지할 수 있는 새로운 시스템을 제안한다.
Abstract
이 연구는 사용자 생성 콘텐츠(UGC) 게임의 불법적인 온라인 이미지 홍보에 대한 문제를 다룹니다. 연구팀은 실제 세계의 데이터를 수집하여 2,924개의 이미지로 구성된 데이터셋을 구축했습니다. 이 데이터셋에는 성적으로 노골적이거나 폭력적인 내용을 포함하는 UGC 게임의 홍보 이미지가 포함되어 있습니다.
연구팀은 기존의 안전하지 않은 이미지 탐지 시스템이 UGC 게임 이미지를 효과적으로 탐지하지 못한다는 것을 발견했습니다. 이는 UGC 게임 이미지가 기존 시스템이 훈련된 데이터와 다른 특성을 가지고 있기 때문입니다.
이에 따라 연구팀은 UGCG-GUARD라는 새로운 시스템을 개발했습니다. UGCG-GUARD는 최근 개발된 대규모 비전-언어 모델을 활용하여 UGC 게임 이미지의 특성을 이해하고 탐지할 수 있습니다. 이를 위해 UGCG-GUARD는 조건부 프롬프팅 전략과 추론 기반 프롬프팅 기법을 사용합니다.
실험 결과, UGCG-GUARD는 기존 시스템보다 월등한 성능을 보였으며, 실제 소셜 미디어 플랫폼에서 수집한 이미지에 대해서도 뛰어난 탐지 능력을 보였습니다. 이를 통해 UGCG-GUARD가 UGC 게임의 불법적인 온라인 이미지 홍보를 효과적으로 탐지할 수 있음을 입증했습니다.
Stats
60%의 Roblox 사용자가 16세 미만이며, 45%가 13세 미만이다.
연구팀은 2,924개의 성적으로 노골적이거나 폭력적인 UGC 게임 홍보 이미지를 수집했다.
Quotes
"온라인 사용자 생성 콘텐츠(UGC) 게임은 아동과 청소년들 사이에서 점점 더 인기를 얻고 있지만, 명시적인 콘텐츠에 노출될 위험이 높아 우려가 커지고 있다."
"기존의 AI/ML 기반 시스템은 UGC 게임 이미지를 효과적으로 탐지하는 데 한계가 있다."