이 연구는 언어 모델의 대명사 사용 충실도를 평가하기 위해 새로운 작업을 제안한다. 대명사 사용 충실도 작업은 문맥에서 소개된 대명사를 이후에 올바르게 재사용할 수 있는지를 측정한다. 연구진은 이를 위해 5백만 개 이상의 정교하게 설계된 데이터셋을 구축했다.
37개의 다양한 언어 모델을 평가한 결과, 모델들은 문맥 없이 대명사를 예측할 때 편향을 보이지만, 문맥이 주어지면 대부분 충실하게 대명사를 재사용할 수 있다. 하지만 단 하나의 방해문장만 추가해도 모델 성능이 크게 떨어진다. 특히 decoder-only 모델은 encoder-only 모델에 비해 훨씬 취약하다.
오류 분석 결과, 대부분의 오류가 모델의 편향이나 반복 때문이며, 추론 능력은 매우 부족한 것으로 나타났다. 이는 현재 널리 사용되는 대규모 언어 모델이 대명사 사용에 있어 매우 취약하다는 것을 보여준다. 연구진은 편향과 추론 능력 향상을 위한 후속 연구를 제안한다.
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések