Core Concepts
검색 기반 언어 모델은 관련 문서 내 충돌하는 정보로 인해 취약하며, 이를 해결하기 위해 문서 식별 능력을 향상시키는 접근법이 필요하다.
Abstract
이 연구는 검색 기반 언어 모델의 지식 충돌에 대한 취약성을 분석하고, 이를 해결하기 위한 방법을 제안한다.
기존 검색 기반 언어 모델은 관련 문서 내 충돌하는 정보로 인해 취약하다는 것을 확인했다. 특히 FiD와 GPT-3.5 모델이 충돌 정보에 취약한 것으로 나타났다.
문서 식별 능력을 향상시키는 접근법을 제안했다. FiD 모델에 식별기를 추가로 학습시켜 관련 문서 내 잘못된 정보를 구분할 수 있게 했다. GPT-3.5 모델에는 식별 능력을 직접 유도하는 프롬프트 기반 접근법을 적용했다.
제안 방법들은 충돌 정보가 포함된 상황에서 모델의 성능을 크게 향상시켰다. 특히 GPT-3.5에 FiD 모델의 식별기 출력을 활용한 접근법이 가장 효과적이었다.
또한 LLM 생성 문서로 구성된 새로운 벤치마크 데이터셋 MACNOISE를 제공하여, 보다 현실적인 지식 충돌 시나리오에서의 모델 평가를 가능하게 했다.
Stats
관련 문서 내 잘못된 정보가 35% 포함된 경우, FiD 모델의 성능이 28.1%에서 38.3%로 향상되었다.
관련 문서 내 잘못된 정보가 35% 포함된 경우, GPT-3.5 모델의 성능이 22.7%에서 27.3%로 향상되었다.
Quotes
"대부분의 기존 검색 기반 언어 모델은 검색된 문서 집합 내 관련성과 비관련성의 단순한 이분법을 가정한다."
"우리는 관련 문서에도 오해를 불러일으키거나 잘못된 정보가 포함될 수 있는 보다 도전적인 시나리오를 조사한다."