登录
洞察 - 자연어 생성 평가
자동 생성 평가에 다양한 참조 문장을 활용하여 성능 향상하기
단일 참조 문장만을 사용하는 기존 평가 방식의 한계를 극복하기 위해, 대규모 언어 모델을 활용하여 다양한 참조 문장을 생성하고 이를 활용함으로써 자동 평가 지표와 인간 평가 간의 상관관계를 크게 향상시킬 수 있다.
자연어 생성 시스템 평가에 참조가 필요한가? 언제 어디서 필요한가?
참조 기반 평가 지표와 참조 없는 평가 지표의 성능을 다양한 분석 방법을 통해 종합적으로 평가하였다. 참조 없는 지표가 인간 평가와 더 높은 상관관계를 보이고 언어 품질 결함에 더 민감하지만, 성능은 과제와 입력 텍스트 품질에 따라 달라진다.
