Core Concepts
LLM의 내부 지식(사전 확률)과 제공된 검색 정보 간의 긴장 관계를 체계적으로 분석하여, RAG 모델의 신뢰성과 한계를 밝힘.
Abstract
이 연구는 RAG(Retrieval Augmented Generation) 모델의 신뢰성을 체계적으로 분석합니다. RAG 모델은 LLM(Large Language Model)에 관련 검색 결과를 제공하여 오류와 허구를 줄이고자 합니다. 그러나 LLM의 내부 지식(사전 확률)과 제공된 검색 정보 간에 긴장 관계가 존재합니다.
연구진은 6개 주제 분야에서 1,294개의 질문-답변 쌍을 생성하고, GPT-4 모델을 사용하여 다양한 수준의 검색 정보 변조를 통해 이 긴장 관계를 분석했습니다. 주요 결과는 다음과 같습니다:
LLM의 사전 확률이 낮을수록 RAG 정보를 선호할 가능성이 높다.
검색 정보가 LLM의 사전 지식에서 크게 벗어날수록 LLM은 자신의 사전 지식을 선호한다.
프롬프트 방식에 따라 RAG 선호도가 크게 달라질 수 있다.
이러한 결과는 LLM의 내부 지식과 제공된 검색 정보 간의 근본적인 긴장 관계를 보여줍니다. RAG 시스템을 사용할 때는 이러한 한계를 고려해야 하며, 모델의 신뢰성을 평가할 때 RAG 기능을 포함해야 합니다.
Stats
LLM의 사전 확률이 10% 증가할 때마다 RAG 선호도가 약 2.3% 감소한다.
검색 정보가 LLM의 사전 지식에서 크게 벗어날수록 RAG 선호도가 낮아진다.
프롬프트 방식에 따라 RAG 선호도가 크게 달라질 수 있다.
Quotes
"LLM의 내부 지식(사전 확률)과 제공된 검색 정보 간의 긴장 관계를 체계적으로 분석하여, RAG 모델의 신뢰성과 한계를 밝힘."
"RAG 시스템을 사용할 때는 이러한 한계를 고려해야 하며, 모델의 신뢰성을 평가할 때 RAG 기능을 포함해야 합니다."