LLM 성능 향상을 위한 사실 정보와 토큰 감소 기반의 블랙박스 RAG 프레임워크

Core Concepts

본 논문은 LLM의 성능을 향상시키기 위해 사실 정보와 토큰 감소 기술을 활용한 블랙박스 RAG 프레임워크 FIT-RAG를 제안한다. FIT-RAG는 LLM의 선호도와 사실 정보를 모두 고려하는 이중 레이블 문서 스코어링 기법, LLM의 자체 지식 여부를 판단하는 이중 관점 자체 지식 인식기, 그리고 불필요한 토큰을 제거하는 하위 문서 수준 토큰 감소기를 통해 LLM의 성능과 효율성을 동시에 향상시킨다.

Abstract

본 논문은 LLM의 성능 향상을 위한 블랙박스 RAG 프레임워크 FIT-RAG를 제안한다. FIT-RAG는 다음과 같은 핵심 구성 요소로 이루어져 있다:

유사도 기반 리트리버: 질문에 대해 관련성이 높은 상위 100개의 문서를 검색한다.
이중 레이블 문서 스코어: 검색된 문서에 대해 사실 정보 점수(Has_Answer)와 LLM 선호도 점수(LLM_Prefer)를 계산한다. 데이터 불균형 문제를 해결하기 위해 가중치 기반 이중 레이블 학습 알고리즘을 제안한다.
이중 관점 자체 지식 인식기: 질문이 장기 꼬리 지식 또는 시대에 뒤떨어진 지식과 관련되어 있는지, 그리고 질문의 가장 유사한 이웃 질문들이 LLM의 자체 지식으로 답변 가능한지를 판단한다.
하위 문서 수준 토큰 감소기: 상위 10개 문서를 선별하고, 문서를 하위 문서 단위로 분할하여 불필요한 토큰을 제거한다.
프롬프트 구성: 질문, 자체 지식 인식기 결과, 토큰 감소기 출력을 종합하여 프롬프트를 구성한다.

이러한 구성 요소를 통해 FIT-RAG는 LLM의 성능과 효율성을 동시에 향상시킬 수 있다. 실험 결과, FIT-RAG는 Llama2-13B-Chat 모델의 성능을 TriviaQA에서 14.3%, NQ에서 19.9%, PopQA에서 27.5% 향상시켰으며, 평균적으로 토큰 수를 절반 가량 감소시켰다.

Stats

질문에 대한 정답이 포함된 문서를 찾는 것이 중요하지만, LLM이 선호하는 문서가 실제 정답 정보를 포함하지 않는 경우가 많다.
모든 검색된 문서를 단순히 연결하여 입력하면 불필요한 토큰이 많이 포함되어 RAG 시스템의 효율성이 저하된다.

Quotes

"LLM의 지식은 고정되어 있어 시간에 따라 변화하는 정보를 다루기 어렵고, 희귀 지식을 학습하는 데 어려움이 있다."
"RAG 시스템은 LLM의 성능을 향상시키기 위해 외부 지식을 활용하지만, 대규모 LLM의 fine-tuning은 실용적이지 않다."

Key Insights Distilled From

FIT-RAG

by Yuren Mao,Xu... at arxiv.org 03-22-2024

https://arxiv.org/pdf/2403.14374.pdf

Deeper Inquiries

LLM의 자체 지식 여부를 판단하는 기준을 더 정교화할 수 있는 방법은 무엇일까

FIT-RAG 프레임워크에서 제안된 Bi-faceted Self-Knowledge Recognizer를 더욱 정교화하여 LLM의 자체 지식 여부를 판단하는 기준을 개선할 수 있습니다. 이를 위해 두 가지 측면을 더욱 세밀하게 고려할 수 있습니다. 첫째, long-tail knowledge나 out-of-date knowledge와 관련된 질문을 더욱 정확하게 식별하기 위해 Wikipedia의 월간 페이지 조회수 대신 더 정확한 지표를 도입할 수 있습니다. 둘째, 질문의 가장 가까운 이웃들이 가지고 있는 자체 지식을 더욱 효과적으로 분석하여 LLM의 자체 지식 여부를 더욱 정확하게 판단할 수 있도록 개선할 수 있습니다. 이를 통해 FIT-RAG 프레임워크의 성능을 더욱 향상시킬 수 있을 것입니다.

RAG 시스템의 성능을 높이기 위해 LLM 아키텍처 자체를 변경하는 접근법은 어떤 장단점이 있을까

RAG 시스템의 성능을 향상시키기 위해 LLM 아키텍처 자체를 변경하는 접근법은 몇 가지 장단점을 가지고 있습니다. 장점으로는 LLM의 내부 구조를 최적화하여 외부 지식을 효과적으로 통합할 수 있어 성능 향상을 이끌어낼 수 있습니다. 또한, 특정 작업에 특화된 LLM을 개발할 수 있어 효율적인 결과를 얻을 수 있습니다. 그러나 이러한 변경은 LLM의 복잡성을 증가시키고 추가적인 리소스 및 시간을 요구할 수 있어 비용이 증가할 수 있습니다. 또한, 기존의 모델을 변경함으로써 예기치 않은 부작용이 발생할 수 있으며, 이로 인해 성능이 저하될 수도 있습니다.

FIT-RAG 프레임워크를 활용하여 LLM의 지식 갱신 및 확장을 위한 지속적 학습 방법을 고안할 수 있을까

FIT-RAG 프레임워크를 활용하여 LLM의 지식 갱신 및 확장을 위한 지속적 학습 방법을 고안할 수 있습니다. 이를 위해 FIT-RAG의 Bi-Label Document Scorer와 Bi-faceted Self-Knowledge Recognizer를 활용하여 LLM이 새로운 정보를 효과적으로 통합하고 기존 지식을 업데이트할 수 있도록 지속적인 학습을 진행할 수 있습니다. 또한, Sub-document-level Token Reducer를 통해 불필요한 정보를 제거하고 효율적인 지식 확장을 도모할 수 있습니다. 이를 통해 FIT-RAG를 활용한 LLM의 지속적인 학습 방법을 설계하고 구현할 수 있을 것입니다.