Core Concepts
NLG 시스템의 행동이 사회 집단에 따라 동일해야 한다는 불변성과 달리, 집단에 따라 달라져야 한다는 적응성 간의 긴장을 조명한다.
Abstract
이 연구는 NLG 시스템의 행동에 대한 사람들의 기대를 탐구한다. 5가지 사례 연구를 통해 NLG 시스템의 실제 행동을 관찰하고, 사람들의 기대를 조사했다.
사례 연구 1-3에서는 이름, 부모 역할, 국가 이름과 같은 참조 언어 기능을 변경했다. 사례 연구 4-5에서는 아프리카계 미국인 영어의 특징과 비공식적인 웹 텍스트의 특징을 변경했다.
관찰된 NLG 시스템 행동에는 다음과 같은 범주가 있다:
응집성: 혼란스러운 표현, 반복, 관련 없는 정보, 의미적 비응집성
감정과 정서: 강도, 방향, 따뜻한 정서
격식: 격식 수준 감소
복잡성: 응답 길이 증감
정체성 관련 가정: 성별, 관계, 관심사/습관에 대한 가정
사람들의 기대는 이러한 행동에 대해 적응이 필요하다고 보는 관점과 불변해야 한다고 보는 관점으로 나뉜다. 적응이 필요하다는 관점은 사회 규범, 문화적 차이, 기능별 정보, 언어 조정 등을 고려해야 한다고 본다. 불변해야 한다는 관점은 규범주의, 적응이 불필요하거나 부적절하다고 보며, 잘못된 가정에 대한 우려를 표한다.
이 연구 결과는 NLG 시스템의 "공정한" 또는 "좋은" 행동에 대한 과제를 강조한다.
Stats
"NLG 모델은 많은 대화형 애플리케이션에 사용되고 있으며, 이에 따라 편향을 재현하거나 악화시킬 수 있는 우려가 있다."
"공정성에 대한 정의는 상황에 따라 다양하고 때로는 상충되는 개념이다."
Quotes
"사회 집단에 대한 동일한 대우를 가정하는 공정성 정의는 집단 간 유효한 차이를 고려하지 않을 수 있다."
"개인화나 맞춤화에 기반한 적응은 고정관념, 원치 않는 가정, 언어 전유, 불쾌한 응답을 초래할 수 있다."