LEAF: 대규모 언어 모델의 사실성 향상을 위한 팩트 체킹 기반 학습 및 평가

핵심 개념

대규모 언어 모델(LLM)의 사실적 정확성을 향상하기 위해 팩트 체킹을 활용한 새로운 접근 방식인 LEAF(Learning and Evaluation Augmented by Fact-Checking)를 소개합니다.

초록

LEAF: 대규모 언어 모델의 사실성 향상을 위한 팩트 체킹 기반 학습 및 평가

본 연구 논문에서는 대규모 언어 모델(LLM)의 사실적 정확성을 향상하기 위해 팩트 체킹을 활용한 새로운 접근 방식인 LEAF(Learning and Evaluation Augmented by Fact-Checking)를 소개합니다. 특히 의료 질의응답(QA)과 같은 지식 집약적인 분야에서 LLM의 사실적 신뢰성을 향상하는 데 중점을 둡니다.

본 연구의 주요 목표는 LLM, 특히 의료 QA 분야에서 생성된 텍스트의 사실적 정확성을 향상하는 것입니다.

LEAF는 Llama 3 70B Instruct 및 Llama 3 8B Instruct와 같은 모델의 사실적 정확성을 향상하기 위해 이중 전략을 활용합니다.
Fact-Check-Then-RAG
첫 번째 전략인 Fact-Check-Then-RAG는 모델 매개변수를 업데이트하지 않고 팩트 체킹 결과를 통합하여 검색 프로세스를 안내함으로써 검색 증강 생성(RAG)을 개선합니다. 즉, LLM이 응답을 생성하면 팩트 체킹 시스템을 통해 평가하고, 사실적으로 정확하지 않은 경우 RAG 접근 방식을 통해 관련 문서를 검색하여 프롬프트에 통합하여 모델이 보다 정확한 응답을 생성하도록 안내합니다.
팩트 체크를 통한 자가 학습
두 번째 전략인 팩트 체크를 통한 학습은 팩트 체크된 응답에 대한 지도 미세 조정(SFT)을 포함하거나 팩트 체킹을 순위 메커니즘으로 사용하여 Simple Preference Optimization(SimPO)을 적용하여 LLM 매개변수를 감독에서 업데이트합니다. 즉, 팩트 체크된 응답으로 모델을 미세 조정하거나 팩트 체킹을 기반으로 생성된 응답의 순위를 매겨 모델을 최적화합니다.

핵심 통찰 요약

LEAF: Learning and Evaluation Augmented by Fact-Checking to Improve Factualness in Large Language Models

by Hieu Tran, J... 게시일 arxiv.org 11-01-2024

https://arxiv.org/pdf/2410.23526.pdf