이 논문은 논란의 여지가 있는 주제에 대해 LLM 기반 대화 시스템의 응답을 생성하고 오류를 탐지하는 방법을 제안한다.
먼저, 논란의 여지가 있는 주제에 대해 중립적인 관점을 제공하는 NPOV(Neutral Point of View) 응답 생성 작업을 소개한다. 이를 위해 찬성과 반대 의견을 담은 논거를 검색하고, LLM을 활용하여 이를 바탕으로 중립적인 응답을 생성한다.
다음으로, 이렇게 생성된 응답에서 발생할 수 있는 두 가지 오류 유형, 즉 허구(hallucination)와 누락(coverage error)을 탐지하는 방법을 제안한다. 이를 위해 ROUGE, 중요도 기반 방법, LLM 기반 분류기 등 세 가지 접근법을 소개하고 평가한다.
실험 결과, LLM 기반 분류기가 합성 오류 데이터로 학습된 경우에도 실제 오류에 대해 95.3%와 90.5%의 높은 탐지 성능을 보였다. 또한 데이터가 없는 경우에도 ROUGE와 중요도 기반 방법이 각각 84.0%와 85.2%의 성능을 달성했다.
이 연구는 논란의 여지가 있는 주제에 대한 LLM 기반 대화 시스템의 응답 생성과 오류 탐지 문제를 다루며, 다양한 접근법을 제안하고 평가한다.
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Tyler A. Cha... ที่ arxiv.org 03-15-2024
https://arxiv.org/pdf/2403.08904.pdfสอบถามเพิ่มเติม