Temel Kavramlar
본 논문에서는 ColBERT 검색 기반 검색 증강 생성(RAG) 파이프라인과 앙상블 응답 점수 매기기를 활용하여 소규모 언어 모델(Phi-2, Falcon-7B)의 통신 분야 질의응답 성능을 향상시키는 방법을 제시합니다.
Özet
소규모 언어 모델의 질의응답 성능 향상을 위한 ColBERT 검색 및 앙상블 응답 점수 매기기
본 연구는 특정 분야 질의응답에서 소규모 언어 모델의 성능을 향상시키는 데 중점을 둡니다. 특히, 통신 분야 질의응답을 위해 Phi-2와 Falcon-7B라는 두 가지 소규모 언어 모델을 전문화하는 데 중점을 두고 있습니다.
연구 배경
대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 작업에서 상당한 성능 향상을 이루었지만, 특정 분야 질의응답은 여전히 어려운 과제입니다. 특정 분야 질의응답은 LLM의 매개변수에 많은 정보를 인코딩할 수 없는 소규모 언어 모델의 경우 더욱 어렵습니다.
연구 목표
본 연구의 목표는 ColBERT 검색 및 앙상블 응답 점수 매기기를 사용하여 통신 분야 질의응답을 위한 두 가지 소규모 언어 모델인 Phi-2와 Falcon-7B의 성능을 향상시키는 것입니다.
Phi-2
Phi-2의 경우, 미세 조정, RAG 및 분야별 어휘 향상을 통합하는 포괄적인 시스템을 구현했습니다.
미세 조정: LoRA를 사용하여 학습 질문에 대해 Phi-2를 미세 조정했습니다. 목표는 언어 모델을 출력 형식 및 프롬프트와 일치시키고 추론 기능을 개선하는 것이었습니다.
검색 증강 생성(RAG): RAG 파이프라인은 554개의 3GPP 표준 기술 문서를 활용합니다. 검색 구성 요소에는 ColBERT 모델을 사용했으며, 검색 시스템의 기반을 형성하는 벡터화된 청크를 생성했습니다. 질의응답 프로세스 중에 시스템은 효율적인 유사성 검색을 위해 FAISS를 사용합니다.
기술 약어 확장: 모델에서 이전에 볼 수 없었던 분야별 용어의 문제를 해결하기 위해 약어 확장 메커니즘을 개발했습니다. 3GPP 표준 문서에서 기술 약어 용어집을 추출하고 컴파일했습니다. 각 질문에 대해 질문 텍스트와 옵션을 분석하여 기술 약어를 식별하고, 컴파일된 용어집을 쿼리하여 해당 전체 형식을 검색하고, 이러한 확장을 언어 모델에 제공되는 프롬프트에 통합하는 동적 약어 확장 프로세스를 구현합니다.
프롬프트 엔지니어링: 구조화된 프롬프트에는 작업에 대한 명확한 지침, 관련 문서에서 검색된 컨텍스트, 용어집에서 확장된 약어 및 정의, 질문 및 객관식 옵션이 포함됩니다.
Falcon-7B
Falcon-7B의 경우 Phi-2에 사용된 것과 동일한 검색 파이프라인을 채택했지만, 컨텍스트로 사용되는 청크 수에 차이가 있습니다. Phi-2와 마찬가지로 쿼리 및 옵션에서 발견된 약어를 확장하여 어휘 불일치를 해결합니다. 두 시스템의 주요 차이점은 사용된 프롬프트와 Falcon-7B에서 생성된 응답에 대해 개발된 점수 매기기 메커니즘입니다.
옵션 없는 프롬프트: Falcon-7B에 대한 초기 실험에서 모델이 객관식 질의응답에 대한 옵션이 제공될 때 추론하는 데 어려움을 겪는다는 것을 발견했습니다. 따라서 프롬프트에 옵션을 제공하지 않습니다.
응답 점수 매기기: 프롬프트에 옵션이 없으면 응답이 정답 옵션의 장황한 버전이며 종종 컨텍스트에서 가장 관련성이 높은 부분을 반영한다는 것을 발견했습니다. 따라서 생성된 응답이 주어지면 가장 가능성이 높은 옵션을 찾는 점수 매기기 방법을 개발했습니다.