실제 및 AI 생성 이미지에 대한 이미지 안전성 분류기 벤치마킹: UnsafeBench

Core Concepts

UnsafeBench는 실제 및 AI 생성 이미지에 대한 이미지 안전성 분류기의 효과성과 견고성을 평가하는 포괄적인 벤치마킹 프레임워크이다. 이를 통해 기존 이미지 안전성 분류기의 한계를 파악하고 개선된 분류기 PerspectiveVision을 제안한다.

Abstract

UnsafeBench는 다음과 같은 4단계로 구성됩니다:

데이터셋 구축: LAION-5B와 Lexica에서 수집한 12,932개의 잠재적으로 안전하지 않은 이미지를 3명의 저자가 수동으로 주석 처리하여 10,146개의 안전/안전하지 않은 이미지로 구성된 UnsafeBench 데이터셋을 구축했습니다.

분류기 수집: 기존 5개의 이미지 안전성 분류기(Q16, MultiHeaded, SD_Filter, NSFW_Detector, NudeNet)와 3개의 VLM 기반 분류기(LLaVA, InstructBLIP, GPT-4V)를 수집했습니다.

분류기 범위 정렬: 각 분류기가 다루는 11개 안전하지 않은 이미지 범주를 식별하고 정렬했습니다.

효과성 및 견고성 평가: UnsafeBench 데이터셋을 사용하여 분류기의 효과성(F1-Score)과 견고성(Robust Accuracy)을 평가했습니다. 특히 실제 이미지와 AI 생성 이미지 간 성능 차이를 분석했습니다.

주요 발견:

GPT-4V가 가장 우수한 성능을 보였지만 상용 모델이라 광범위한 적용이 어려움
다양한 안전하지 않은 이미지 범주에 대한 탐지 성능이 균형적이지 않음
실제 이미지 기반으로 학습된 분류기들이 AI 생성 이미지에서 성능 저하를 겪음
AI 생성 이미지의 예술적 표현과 격자 레이아웃이 분류기 성능에 영향을 미침
이를 바탕으로 PerspectiveVision을 개발했으며, 이는 실제 및 AI 생성 이미지에서 11개 범주의 안전하지 않은 이미지를 효과적으로 식별할 수 있습니다.

Stats

실제 이미지에서 SD_Filter의 성적 이미지 탐지 F1-Score는 0.833이지만, AI 생성 이미지에서는 0.727로 감소했습니다.
GPT-4V는 실제 폭력 이미지를 0.774의 F1-Score로 탐지했지만, AI 생성 폭력 이미지에서는 0.712로 감소했습니다.
Q16의 증오 이미지 탐지 시 false negative 비율은 0.306, false positive 비율은 0.166이었습니다.
GPT-4V의 증오 이미지 탐지 시 false negative 비율은 0.144, false positive 비율은 0.425였습니다.

Quotes

"AI 생성 이미지에서 예술적 표현과 격자 레이아웃이 분류기 성능에 영향을 미침"
"기존 이미지 안전성 분류기는 다양한 범주의 안전하지 않은 이미지를 효과적으로 탐지하지 못함"

Key Insights Distilled From

UnsafeBench: Benchmarking Image Safety Classifiers on Real-World and AI-Generated Images

by Yiting Qu,Xi... at arxiv.org 05-07-2024

https://arxiv.org/pdf/2405.03486.pdf

Deeper Inquiries

AI 생성 이미지의 예술적 표현이 안전성 판단에 어떤 영향을 미치는지 더 깊이 있게 탐구해볼 수 있을까

AI 생성 이미지의 예술적 표현이 안전성 판단에 어떤 영향을 미치는지 더 깊이 있게 탐구해볼 수 있을까?
AI 생성 이미지의 예술적 표현이 안전성 판단에 영향을 미치는 이유를 더 깊이 탐구해보면, 먼저 예술적 표현은 주관적이고 다양한 해석이 가능하다는 점을 감안해야 합니다. AI 모델은 주어진 데이터를 기반으로 판단을 내리기 때문에 예술적인 이미지의 복잡성과 다의성을 이해하기 어려울 수 있습니다. 예를 들어, 예술적인 표현이 선정적인 내용을 담고 있더라도 모델은 이를 안전하지 않은 이미지로 인식하지 못할 수 있습니다. 또한, 예술적인 이미지는 일상적인 이미지와는 다른 시각적 특징을 가지고 있어 모델의 학습 데이터에 존재하지 않는 패턴일 경우 판단을 어렵게 할 수 있습니다. 이러한 이유로 AI 생성 이미지의 예술적 표현은 안전성 판단에 혼란을 줄 수 있습니다.

기존 분류기의 성능 한계를 극복하기 위해 어떤 새로운 접근법을 시도해볼 수 있을까

기존 분류기의 성능 한계를 극복하기 위해 새로운 접근법을 시도해볼 수 있습니다. 먼저, 다양한 유형의 데이터를 활용하여 모델을 훈련시키는 데이터 다양성을 고려할 수 있습니다. 예를 들어, AI 생성 이미지와 실제 이미지를 모두 포함한 다양한 데이터를 사용하여 모델을 향상시킬 수 있습니다. 또한, 전이 학습이나 앙상블 학습과 같은 기술을 활용하여 여러 모델을 결합하거나 이전에 학습한 지식을 활용하여 성능을 향상시킬 수 있습니다. 또한, 심층 학습 모델의 설명 가능성을 높이고 모델의 의사 결정 과정을 이해할 수 있는 방법을 도입하여 모델의 성능을 개선할 수 있습니다.

이미지 안전성 분류 기술의 발전이 사회에 미칠 수 있는 긍정적/부정적 영향은 무엇일까

이미지 안전성 분류 기술의 발전이 사회에 미칠 수 있는 긍정적인 영향은 온라인 플랫폼에서 유해 콘텐츠를 탐지하고 제거하여 사용자를 보호하는 데 도움을 줄 수 있다는 점입니다. 이를 통해 온라인 공간에서의 유해 콘텐츠 확산을 억제하고 사용자들을 안전하게 보호할 수 있습니다. 또한, 이러한 기술은 디지털 플랫폼의 안전성을 높이고 온라인 환경을 개선하는 데 기여할 수 있습니다. 그러나 부정적인 영향으로는 개인의 개인 정보 보호 문제와 자유 제한 가능성이 있습니다. 안전성 분류 시스템의 오류로 인해 정상적인 콘텐츠가 차단될 수 있고, 이로 인해 정보 접근이 제한될 수 있습니다. 또한, 이러한 기술이 오용되어 억압적인 감시나 검열에 이용될 우려도 있습니다. 따라서 이러한 기술을 개발하고 활용할 때는 개인의 권리와 자유를 보호하면서 적절하게 활용해야 합니다.