核心概念
HalluciBot은 대규모 언어 모델이 잘못된 답변을 생성할 확률을 사전에 예측하는 모델이다. 이를 통해 사용자는 질문을 수정하거나 취소할 수 있어 계산 자원의 낭비를 줄일 수 있다.
要約
이 논문은 대규모 언어 모델(LLM)에서 발생하는 잘못된 답변(hallucination)을 예측하는 HalluciBot 모델을 제안한다.
HalluciBot의 주요 특징은 다음과 같다:
질문이 생성되기 전에 잘못된 답변 발생 확률을 예측한다. 이를 통해 사용자는 질문을 수정하거나 취소할 수 있어 계산 자원의 낭비를 줄일 수 있다.
다중 에이전트 몬테카를로 시뮬레이션을 통해 질문을 다양하게 변형하고, 각 변형에 대한 답변을 생성하여 잘못된 답변 발생 확률을 추정한다.
이를 바탕으로 이진 분류와 다중 클래스 분류 모델을 학습하여 질문의 잘못된 답변 발생 확률을 예측한다.
실험 결과, HalluciBot은 잘못된 답변 발생 확률을 73%의 정확도로 예측할 수 있다.
또한 논문에서는 다음과 같은 발견사항을 제시한다:
추출형 질문에서는 문맥 정보가 잘못된 답변을 줄이는 데 도움이 된다.
선택형 질문에서는 선택지가 에이전트들 사이의 혼란을 유발할 수 있다.
추상형 질문에서는 추가 정보 없이 정답과 오답이 극단적으로 갈리는 경향이 있다.
統計
대규모 언어 모델은 복잡성, 데이터 오류, 샘플링 무작위성 등으로 인해 잘못된 답변을 생성할 수 있다.
잘못된 답변 발생 확률은 탐욕적 결정론적 디코딩과 창의성 있는 nucleus 샘플링 사이의 상충관계로 인해 증가한다.
引用
"HalluciBot은 대규모 언어 모델이 잘못된 답변을 생성할 확률을 사전에 예측하는 최초의 인코더 기반 모델이다."
"HalluciBot의 학습 과정에서 계산 복잡성을 흡수하므로, 사용자 세션 중에 발생하는 상당한 계산 낭비를 체계적으로 절감할 수 있다."