이 연구는 체코어 사전 훈련 언어 모델의 정치적 가치관과 성별의 상호작용을 조사했다. 연구진은 대표적인 체코어 언어 모델 6개를 선정하여 이들이 정치적 가치 판단에 보이는 경향을 분석했다.
먼저 연구진은 모델에 문장을 제시하고 동의/반대 여부를 평가하도록 했다. 이때 문장의 주어를 남성 또는 여성으로 달리하여 성별에 따른 차이를 살펴보았다. 이후 모델의 평가 결과를 실제 설문 조사 데이터와 비교하였다.
분석 결과, 대부분의 모델은 성별에 따른 정치적 가치관의 차이를 보이지 않았다. 또한 각 정치적 가치에 대한 모델의 평가는 편차가 크고 일관성이 없어, 체계적인 정치적 신념이 반영되어 있지 않은 것으로 나타났다. 다만 일부 모델의 경우 경제적 형평성에 대한 평가가 실제 데이터보다 높게 나타났다.
연구진은 이러한 결과를 바탕으로 대규모 언어 모델에 체계적인 정치적 가치관이 반영되어 있지 않다고 결론 내렸다. 모델의 편향성은 훈련 데이터의 표면적 패턴을 모방한 결과일 가능성이 높다고 설명했다.
Na inny język
z treści źródłowej
arxiv.org
Głębsze pytania