이 연구는 자연어 처리(NLP) 모델의 편향성과 그것이 유해성 탐지 작업의 공정성에 미치는 영향을 종합적으로 조사하였다.
먼저 언어 모델에 존재하는 3가지 유형의 편향, 즉 표현 편향, 선택 편향, 과증폭 편향을 측정하고 이것이 유해성 탐지 작업의 공정성에 미치는 영향을 분석하였다.
그 결과, 특히 과증폭 편향이 유해성 탐지 작업의 공정성에 가장 큰 영향을 미치는 것으로 나타났다. 또한 언어 모델의 편향을 제거하는 다양한 기법을 적용하여 그것이 유해성 탐지 작업의 공정성과 성능에 미치는 영향을 조사하였다.
연구 결과, 과증폭 편향을 제거하는 것이 가장 효과적인 편향 제거 방법이며, 이를 통해 유해성 탐지 작업의 공정성을 향상시킬 수 있음을 보여주었다. 마지막으로 유해성 탐지 작업의 공정성을 보장하기 위한 가이드라인을 제시하였다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Fatma Elsafo... at arxiv.org 04-29-2024
https://arxiv.org/pdf/2305.12829.pdfDeeper Inquiries