Core Concepts
Yi 모델 패밀리는 데이터 품질과 모델 성능을 강조하는 다차원 능력을 보여줍니다.
Abstract
소개
대규모 언어 모델의 혁신적 발전
Yi 모델 시리즈 소개
사전 훈련
데이터 처리, 토큰화, 모델 아키텍처
세부 튜닝
데이터 전처리, 훈련 방법
인프라
전체 스택 개발 지원
안전
데이터 안전 및 정렬
평가
기본 모델 및 채팅 모델 성능
능력 확장
200K 컨텍스트, 시각-언어 적응, 깊이 확장
Stats
"우리는 3.1조 토큰의 영어와 중국어 말뭉치를 구축했습니다."
"Yi-34B는 GPT-3.5와 유사한 벤치마크 점수를 달성했습니다."
"우리는 200K 컨텍스트 길이를 달성하기 위해 경량 지속적 사전 훈련을 시행했습니다."
Quotes
"우리는 데이터 품질을 강조하며 사전 훈련 데이터를 3.1조 토큰으로 구축했습니다."
"Yi-34B는 GPT-3.5와 유사한 벤치마크 점수를 달성했습니다."