核心概念
확률적 추론을 기반으로 한 학습 목표를 통해 언어 모델이 외부 지식과 일관된 방식으로 추론할 수 있도록 한다.
摘要
이 논문은 대규모 언어 모델(LLM)의 신뢰성 향상을 위한 방법을 제안한다. 현재 LLM은 사실적 정보를 생성하지 못하고 자기 모순적인 추론을 하는 문제가 있다. 이를 해결하기 위해 기존에는 대규모 fine-tuning 또는 외부 도구에 의존하는 방식을 사용했다.
이 연구에서는 중간 지점을 찾아 사실과 규칙으로 구성된 외부 지식에 일관된 방식으로 추론할 수 있는 학습 목표를 제안한다. 제한된 사실 집합에 대한 fine-tuning을 통해 이전 기준보다 논리적으로 더 일관된 LLM을 만들고, 의미적으로 유사한 새로운 사실에 대해서도 더 체계적으로 추론할 수 있게 한다.
실험 결과, 제안한 LOCO-LMS 모델은 외부 추론기를 사용하는 접근법보다 사실성과 논리적 일관성이 우수하며, 적은 데이터에서도 표준 fine-tuning 모델보다 성능이 좋다.
統計資料
제안된 LOCO-LMS 모델은 기존 접근법보다 사실성과 논리적 일관성이 우수하다.
적은 데이터(5-10%)에서도 LOCO-LMS가 표준 fine-tuning 모델보다 성능이 좋다.
더 많은 데이터(75%)를 사용하면 표준 fine-tuning 모델도 LOCO-LMS와 유사한 수준의 성능을 보인다.
引述
"확률적 추론을 기반으로 한 학습 목표를 통해 언어 모델이 외부 지식과 일관된 방식으로 추론할 수 있도록 한다."
"제한된 사실 집합에 대한 fine-tuning을 통해 이전 기준보다 논리적으로 더 일관된 LLM을 만들고, 의미적으로 유사한 새로운 사실에 대해서도 더 체계적으로 추론할 수 있게 한다."