대규모 언어 모델의 사실성 향상을 위한 FLAME: 사실성 인식 정렬

핵심 개념

대규모 언어 모델(LLM)의 정렬 과정에서 사실성이 저하되는 문제를 해결하기 위해 사실성 인식 정렬(FLAME) 방법을 제안한다.

초록

이 논문은 대규모 언어 모델(LLM)의 정렬 과정에서 사실성이 저하되는 문제를 해결하기 위한 방법을 제안한다.

기존 정렬 방식의 문제점 분석:

감독 학습 미세조정(SFT) 단계에서 인간이 작성한 고품질 응답을 사용하면 모델에게 익숙하지 않은 정보가 제공되어 허구 생성이 증가할 수 있다.
강화 학습(RL) 단계에서 지시 따르기 능력 향상을 위한 보상 함수는 더 긴 응답을 선호하게 되어 허구 생성이 증가할 수 있다.

사실성 인식 정렬(FLAME) 제안:

SFT 단계에서 사실 기반 지시문에 대해서는 모델 자체의 지식을 활용하여 응답을 생성하고, 비사실 기반 지시문에 대해서는 인간 작성 응답을 사용한다.
RL 단계에서 지시 따르기 능력과 사실성을 별도의 보상 함수로 평가하여 최적화한다.

실험 결과:

제안한 FLAME 방법을 통해 사실성이 향상되면서도 지시 따르기 능력이 유지되는 것을 확인했다.
사실 기반 지시문 분류의 중요성을 확인했으며, 문장 단위 사실성 평가의 한계점도 발견했다.

통계

사실 기반 지시문에 대한 응답의 평균 길이는 SFT 모델보다 FLAME 모델이 더 짧다.
FLAME 모델은 SFT 모델 대비 Biography 데이터셋에서 정확한 사실 수가 6.2개 더 많고, 오류 사실 수가 8.8개 더 적다.

인용구

"기존 정렬 과정에서는 LLM의 사실성이 향상되지 않고 오히려 더 많은 허구 생성이 발생한다."
"사실 기반 지시문에 대해서는 모델 자체의 지식을 활용하여 응답을 생성하고, 비사실 기반 지시문에 대해서는 인간 작성 응답을 사용하는 것이 중요하다."
"지시 따르기 능력과 사실성을 별도의 보상 함수로 평가하여 최적화하는 것이 효과적이다."

핵심 통찰 요약

FLAME: Factuality-Aware Alignment for Large Language Models

by Sheng-Chieh ... 게시일 arxiv.org 05-03-2024

https://arxiv.org/pdf/2405.01525.pdf

더 깊은 질문

질문 1

사실성 향상을 위해 모델 자체의 지식을 활용하는 방식 외에 다른 접근법은 없을까?
답변 1: 다른 접근법으로는 외부 지식 베이스를 활용하는 것이 있습니다. 외부 지식 베이스는 모델이 사실성을 높이고 정확한 정보를 제공하는 데 도움이 될 수 있습니다. 이를 통해 모델은 새로운 지식을 학습하고 더 정확한 답변을 생성할 수 있습니다. 또한, 다양한 데이터 소스를 활용하여 모델을 훈련시키는 것도 다른 접근법 중 하나입니다. 이를 통해 모델은 다양한 정보를 학습하고 다양한 상황에 대처할 수 있는 능력을 향상시킬 수 있습니다.

질문 2

사실성과 지시 따르기 능력 간의 최적의 균형을 찾는 방법은 무엇일까?
답변 2: 사실성과 지시 따르기 능력 간의 최적의 균형을 찾기 위해선 다양한 요소를 고려해야 합니다. 먼저, 모델의 훈련 데이터와 훈련 방법을 조정하여 사실성과 지시 따르기 능력을 동시에 강화할 수 있습니다. 또한, 다중 보상 체계를 도입하여 사실성과 지시 따르기 능력을 모두 고려하는 것이 중요합니다. 이를 통해 모델이 정확하고 유용한 답변을 생성하면서도 지시를 정확하게 따를 수 있도록 도울 수 있습니다.

질문 3

사실성 평가 시 문장 단위 접근의 한계를 극복할 수 있는 방법은 무엇일까?
답변 3: 사실성 평가 시 문장 단위 접근의 한계를 극복하기 위해선 문맥을 고려한 평가 방법을 도입할 수 있습니다. 문장 단위 접근은 각 문장을 독립적으로 평가하기 때문에 전체적인 문맥을 고려하지 못할 수 있습니다. 따라서, 문장 간의 관련성을 고려하고 전체적인 의미를 파악할 수 있는 평가 방법을 도입하여 모델의 사실성을 더 정확하게 평가할 수 있습니다. 또한, 다양한 평가 지표와 척도를 활용하여 문장 단위 접근의 한계를 극복할 수 있습니다.