바일롱: 저용량 전이 학습 기반 바이링궐 모델

Core Concepts

저용량 전이 학습 기반 방법을 통해 영어 중심의 대규모 언어 모델을 중국어(번체)에 효과적으로 적응시킴

Abstract

기존 대규모 언어 모델은 주로 영어 데이터로 사전 학습되어 있어 다른 언어에 대한 성능이 저하됨 이를 해결하기 위해 QLoRA와 zip-tie 임베딩 기법을 활용하여 Llama 2 모델을 중국어(번체)에 효과적으로 적응시킴 중국어(번체) 이해 및 생성 능력이 향상된 Bailong 모델을 개발하였으며, 지침 따르기 능력을 강화한 Bailong-instruct 모델도 함께 제공 중국어(번체) 데이터셋 및 평가 벤치마크인 Bailong-bench를 소개하여 모델 성능을 종합적으로 평가

Stats

모델 학습에 사용된 데이터셋은 약 130억 토큰 규모 데이터셋은 중국어(간체), 중국어(번체), 영어로 구성되어 있음

Quotes

"Large language models (LLMs) have demonstrated exceptional performance in various NLP applications." "However, the majority of existing open-source LLMs are pre-trained primarily on English data and little part of other languages."

Key Insights Distilled From

Bailong

by Lung-Chuan C... at arxiv.org 04-02-2024

https://arxiv.org/pdf/2404.00862.pdf

Deeper Inquiries

중국어(번체) 데이터 수집 및 전처리 과정에서 고려한 주요 사항은 무엇인가?

중국어(번체) 데이터 수집 및 전처리 과정에서 고려해야 하는 주요 사항은 다음과 같습니다: 데이터 다양성: 다양한 소스에서 데이터를 수집하여 중국어(번체)의 다양한 측면을 반영해야 합니다. 번체 변환: 번체로 번역된 데이터를 확보하고 번체와 간체 간의 변환을 고려해야 합니다. 금지어 필터링: 성인 콘텐츠나 부적절한 내용을 필터링하여 데이터의 품질을 유지해야 합니다. 특수 기호 및 URL 제거: 모델의 성능에 영향을 줄 수 있는 특수 기호, URL, 이모티콘, 이메일 등을 제거해야 합니다. 중복 제거: 중복된 데이터를 식별하고 제거하여 모델 학습에 영향을 미치는 중복을 방지해야 합니다. 의미 중복 제거: 의미적으로 중복된 데이터를 식별하고 제거하여 모델의 일반화 능력을 향상시켜야 합니다.