이 논문은 주관적 NLP 작업에서 다양한 인간 판단을 정확하게 포착하기 위해 주석 과정에 다양한 관점을 통합하는 것이 중요하다고 주장한다. 능동 학습(AL)은 인간 주석 수집의 높은 비용을 해결하기 위해 가장 정보가 많은 샘플을 전략적으로 주석화한다.
저자들은 주석자 중심 능동 학습(ACAL)을 소개한다. ACAL은 데이터 샘플링 전략에 이어 주석자 선택 전략을 포함한다. 이의 목적은 (1) 인간 판단의 전체 다양성을 효율적으로 근사화하고, (2) 다수 관점보다 소수 관점을 강조하는 주석자 중심 지표를 사용하여 모델 성능을 평가하는 것이다.
저자들은 7개의 주관적 NLP 작업에 걸쳐 다양한 주석자 선택 전략을 실험하고, 전통적이고 새로운 인간 중심 평가 지표를 사용한다. 연구 결과, ACAL은 데이터 효율성을 높이고 주석자 중심 성능 평가에서 우수한 결과를 보인다. 그러나 그 성공은 충분히 큰 다양한 주석자 풀을 사용할 수 있는지에 달려 있다.
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問