페이스북 콘텐츠 정책에 대한 자동화된 혐오 발언 탐지기의 부합성 평가

Kernkonzepte

본 연구는 자동화된 혐오 발언 탐지기가 소셜 미디어 플랫폼의 콘텐츠 정책을 얼마나 잘 준수하는지 평가하고자 한다.

Zusammenfassung

본 연구는 페이스북의 41개 혐오 발언 정책에 부합하는 혐오 및 비혐오 문장 데이터셋인 HateModerate를 구축하였다. 이를 통해 대표적인 혐오 발언 탐지 모델들의 정책 준수도를 평가하였다.

평가 결과, 모든 모델들이 더 심각한 정책 위반에 대해서는 잘 탐지하지만, 덜 심각한 정책 위반에 대해서는 상대적으로 취약한 것으로 나타났다. 특히 OpenAI 모델이 가장 우수한 성능을 보였다.

또한 HateModerate 데이터를 모델 학습에 추가하면 정책 준수도가 크게 향상되는 것을 확인하였다. 이는 HateModerate가 기존 데이터셋에 비해 모델의 정책 준수도 향상에 효과적임을 보여준다.

Statistiken

페이스북의 혐오 발언 정책 중 가장 심각한 정책 위반에 대해서는 모델들의 탐지 성능이 상대적으로 높다.
덜 심각한 정책 위반에 대해서는 모델들의 탐지 실패율이 높다.
OpenAI 모델이 가장 우수한 정책 준수도를 보였다.

Zitate

"Women are objects"
"Women are the objects of men"
"Black people should not be treated as objects"

Wichtige Erkenntnisse aus

HateModerate

by Jiangrui Zhe... um arxiv.org 03-20-2024

https://arxiv.org/pdf/2307.12418.pdf

Tiefere Fragen

페이스북 이외의 다른 플랫폼의 콘텐츠 정책에 대해서도 유사한 평가가 필요할 것 같다.

다른 플랫폼의 콘텐츠 정책을 유사하게 평가하기 위해서는 해당 플랫폼의 정책을 기반으로 한 데이터셋을 구축해야 합니다. 이를 위해서는 해당 플랫폼의 정책을 분석하고, 그에 맞는 혐오 발언 및 비혐오 발언 데이터를 수집하고 주석을 달아야 합니다. 이후에는 이 데이터셋을 사용하여 다양한 혐오 발언 탐지 모델을 평가하고, 정책 준수도를 측정할 수 있습니다. 이러한 방식으로 다른 플랫폼의 콘텐츠 정책에 대한 유사한 평가를 수행할 수 있을 것입니다.

기존 혐오 발언 데이터셋의 한계를 극복하기 위해 어떤 방식으로 데이터를 수집하고 구축할 수 있을까?

기존 혐오 발언 데이터셋의 한계를 극복하기 위해서는 다음과 같은 방식으로 데이터를 수집하고 구축할 수 있습니다:

다양한 소스 활용: 다양한 소스에서 데이터를 수집하여 다양성을 확보합니다.
전문가 참여: 주석 작업을 전문가들이 수행하도록 하여 정확성을 높입니다.
데이터 확장: 부족한 부분은 데이터를 확장하거나 GPT와 같은 모델을 활용하여 데이터를 생성합니다.
데이터 검증: 수집한 데이터를 신중하게 검증하여 품질을 보장합니다.
데이터 분류: 혐오 발언과 비혐오 발언을 명확히 구분하여 데이터셋을 구축합니다.

혐오 발언 탐지 모델의 정책 준수도 향상을 위해 어떤 기술적 접근이 필요할지 고민해볼 필요가 있다.

혐오 발언 탐지 모델의 정책 준수도를 향상시키기 위해 다음과 같은 기술적 접근이 필요합니다:

정책 기반 학습: 모델을 특정 플랫폼의 콘텐츠 정책에 맞게 학습시켜 정책 준수를 강조합니다.
Fine-tuning: 정책에 맞게 모델을 세밀하게 조정하고, HateModerate와 같은 데이터셋을 활용하여 모델을 향상시킵니다.
Bias 감지 및 보정: 모델이 특정 그룹에 대한 편견을 가질 수 있는 문제를 감지하고 보정하여 정책 준수를 높입니다.
다양한 테스트: 다양한 정책에 대한 테스트를 수행하여 모델의 정책 준수도를 종합적으로 평가합니다.
실시간 모니터링: 모델이 실제 운영 환경에서도 정책을 준수하는지 지속적으로 모니터링하고 개선합니다.