LLM 출력물의 증거 기반 사실 오류 수정

Core Concepts

언어 모델은 참조 문서에 대한 접근이 있어도 사실적으로 잘못된 내용을 생성할 수 있다. GENAUDIT은 LLM 출력물의 사실 오류를 식별하고 수정하며, 관련 증거를 제시하는 도구이다.

Abstract

GENAUDIT은 LLM 출력물의 사실 오류를 식별하고 수정하며, 관련 증거를 제시하는 도구이다.
주요 내용은 다음과 같다:

LLM은 참조 문서에 대한 접근이 있어도 사실적으로 잘못된 내용을 생성할 수 있다. 이는 특히 의료 또는 금융과 같은 중요한 응용 분야에서 위험할 수 있다.

GENAUDIT은 문서 기반 작업에서 LLM 응답의 사실 확인을 돕는 도구이다. GENAUDIT은 참조 문서에 의해 뒷받침되지 않는 주장을 수정 또는 제거하고, 사실로 보이는 내용에 대한 증거를 제시한다.

GENAUDIT은 이러한 작업을 수행하기 위해 훈련된 모델과 사용자에게 제안된 편집 및 증거를 제시하는 대화형 인터페이스로 구성된다.

다양한 도메인의 문서에 대해 8개의 다른 LLM 출력물을 요약할 때 GENAUDIT의 성능을 인간 평가자가 종합적으로 평가했다. 평균적으로 GENAUDIT은 요약문의 약 40%의 잘못된 단어를 식별했고, 95%의 정밀도를 보였다.

증거 추출 측면에서 GENAUDIT은 91%의 재현율과 95%의 정밀도를 달성했다.

사용자가 더 많은 오류를 식별하고자 할 때 정밀도를 어느 정도 희생하면서 재현율을 높일 수 있는 디코딩 알고리즘을 제안했다.

Stats

언어 모델은 참조 문서에 대한 접근이 있어도 사실적으로 잘못된 내용을 생성할 수 있다.
GENAUDIT은 평균적으로 요약문의 약 40%의 잘못된 단어를 식별했고, 95%의 정밀도를 보였다.
GENAUDIT은 증거 추출 측면에서 91%의 재현율과 95%의 정밀도를 달성했다.

Quotes

"LLMs can generate factually incorrect state-ments even when provided access to refer-ence documents."
"GENAUDIT suggests edits to the LLM response by revising or removing claims that are not supported by the reference document, and also presents evidence from the reference for facts that do appear to have sup-port."
"Comprehensive evaluation by human raters shows that GENAUDIT can detect errors in 8 different LLM outputs when summarizing documents from diverse domains."

Key Insights Distilled From

GenAudit

by Kundan Krish... at arxiv.org 03-19-2024

https://arxiv.org/pdf/2402.12566.pdf

Deeper Inquiries

질문 1

GENAUDIT은 다른 용도로도 활용될 수 있습니다. 예를 들어, GENAUDIT은 학습 데이터로부터 생성된 요약문을 검토하고 사실적인지 여부를 판단하는 이진 분류기로 활용할 수 있습니다. 이를 통해 주어진 참조 문서에 대한 긴 형식의 생성된 텍스트가 사실적인지 여부를 예측할 수 있습니다. 이를 통해 GENAUDIT은 단순히 오류를 수정하는 것 이상의 역할을 수행할 수 있습니다.

질문 2

GENAUDIT의 성능을 더 향상시키기 위해 추가적인 접근법으로는 다양한 임계값을 사용하여 모델의 출력 토큰 확률을 관찰하고 낮은 모델 신뢰도에서 개입하는 알고리즘을 고려할 수 있습니다. 이를 통해 오류 식별의 재현율을 높이면서 정밀도를 최소화할 수 있습니다. 또한, 모델의 출력을 수정하는 디코딩 알고리즘을 개발하여 오류 식별의 재현율을 높이는 방법을 고려할 수 있습니다.

질문 3

언어 모델의 신뢰성을 높이기 위해 다른 방법으로는 사후 수정이 아닌 사전에 사실적인 출력을 생성하는 방법을 고려할 수 있습니다. 예를 들어, 출력 토큰의 로짓을 비교하여 적절한 토큰을 촉진하여 사실적인 출력을 더 많이 얻을 수 있는 방법을 사용할 수 있습니다. 또한, 어텐션 헤드에서 편향을 도입하여 사실적인 출력을 촉진하는 방법이 있습니다. 이러한 방법을 통해 언어 모델의 출력의 사실성을 향상시킬 수 있습니다.