Yi: Open Foundation Models by 01.AI

Основные понятия

Large language models like Yi by 01.AI demonstrate advanced capabilities through high-quality data engineering efforts and continual pretraining, leading to strong performance across various benchmarks.

Аннотация

01.AI introduces the Yi model family, showcasing language and multimodal models with advanced capabilities. The models are based on pretrained language models and extended to include chat models, long context models, depth-upscaled models, and vision-language models. The performance of the Yi models is attributed to high-quality data resulting from extensive data engineering efforts. For pretraining, a large corpus of English and Chinese tokens is constructed using a sophisticated data cleaning pipeline. Finetuning involves meticulous polishing of a small-scale instruction dataset. The vision-language model combines chat language with a vision transformer encoder for aligning visual representations with the semantic space of the language model. Continual pretraining extends context length to 200K, demonstrating strong retrieval performance. Increasing the depth of pretrained checkpoints through continual pretraining further enhances performance.

Статистика

Pretrained checkpoint depth is extended through continual pretraining.
3.1 trillion tokens of English and Chinese corpora are used for pretraining.
Finetuning dataset consists of less than 10K instructions polished over multiple iterations.
Vision-language model aligns visual representations with the semantic space of the language model.
Context length is extended to 200K through lightweight continual pretraining.

Цитаты

Ключевые выводы из

Yi

by 01.AI в arxiv.org 03-08-2024

https://arxiv.org/pdf/2403.04652.pdf

Дополнительные вопросы

質問1

Yiモデルファミリーのデータ品質へのアプローチは、他の大規模言語モデルとどう異なるでしょうか？
Yiモデルファミリーは、データ品質に重点を置いた独自のアプローチを取っています。彼らは、事前学習および微調整段階で高品質なコーパスを使用することに焦点を当てています。具体的には、複雑なフィルタリング手法や精巧なクレンジングプロセスを通じて、3.1兆トークンもの英語と中国語のコーパスから構築された高品質なデータセットを用意しています。この過程では、従来よりも多くの労力がかけられており、量よりも品質が優先されています。

質問2

連続的にパラメーターを拡張することから生じる可能性がある挑戦や制限事項は何ですか？
パラメーターを連続的に拡張することから生じる潜在的な挑戦や制約事項にはいくつかあります。まず第一に、計算上の負荷が増加し、訓練時間や推論速度が遅くなる可能性があります。さらに大きく複雑化したモデルではオーバーフィッティング（過学習）やメモリ消費量の増加も懸念されます。また、パラメーター数が増えれば必要なトレーニングデータ量も増加し、その収集・管理・処理が困難になる可能性も考えられます。

質問3

ビジョン-言語統合技術の進歩がチャットボット以外の将来のAIアプリケーションへどう影響する可能性がありますか？
ビジョン-言語統合技術（Vision-Language Integration）は将来的にAIアプリケーション全般に革新的な影響を与える可能性があります。例えば、「画像キャプショニング」では画像内物体情報から文章生成能力を活用して詳細で正確なキャプション生成が実現されるでしょう。「知識グラフ構築」では視覚情報と自然言語処理技術を組み合わせて豊富で洞察力ある知識グラフ作成へ発展します。「医療診断支援」分野でも画像解析と専門家レポート生成能力結合して迅速かつ正確な医師支援サービス提供され得ます。