핵심 개념
최신 언어 생성 모델에서 발생하는 환각을 감지하기 위해 합성 데이터를 활용하는 방법 소개
초록
최근의 언어 생성 모델은 흐름이 자연스럽지만 정확하지 않은 결과물을 생성하며 흐름 중심의 지표에 의존하는 동안 환각을 유발할 수 있음.
SHROOM 챌린지는 생성된 텍스트에서 이러한 환각을 자동으로 식별하는 데 초점을 맞춤.
데이터 증강 파이프라인과 세 가지 모델의 투표 앙상블을 소개하여 이 문제를 해결하고, 이를 통해 SemEval-Task 6 SHROOM에서 80.07%의 정확도를 달성함.
데이터 세트는 정의 모델링, 기계 번역 및 패러프레이즈 생성과 같은 세 가지 작업에 대한 해결책을 포함하며, 각 솔루션은 5명의 인간 주석자에 의해 환각 또는 비환각으로 주석이 달림.
모델은 가짜 레이블과 문장 재구성을 활용하여 환각을 감지하고, 세 가지 다른 방법론의 앙상블을 사용하여 다양한 접근 방식을 활용함.
통계
SHROOM 챌린지에서의 정확도는 80.07%입니다.
인용구
"최신 언어 생성 모델에서 발생하는 환각을 감지하기 위해 합성 데이터를 활용하는 방법 소개"
"SHROOM 챌린지는 생성된 텍스트에서 이러한 환각을 자동으로 식별하는 데 초점을 맞춤"