Core Concepts
進化的アプローチを使用して、異なるオープンソースモデルを効果的に組み合わせて新しい基礎モデルを自動生成する方法。
Abstract
進化アルゴリズムを使用して、多様なオープンソースモデルの効果的な組み合わせを自動的に発見し、ユーザーが指定した能力を持つ新しい基礎モデルを作成する手法。
パラメータ空間とデータフロー空間で操作し、日本語LLMや日本語VLMの開発に成功。
PSとDFSの両方でのマージング戦略は、パフォーマンス向上に寄与し、将来のAI開発への可能性を示唆。
Introduction
進化アルゴリズムを使用して自動的に新しい基礎モデルを生成する手法が提案された。
日本語LLMと日本文化特有コンテンツ対応VLMの開発が成功裏に行われた。
Model Merging in the Parameter Space (PS)
複数の基礎モデルから重要なパラメーター値を抽出して新しい融合モデルを作成。
日本語LLMと数学LLMから日本語数学LLMが生成された。
Model Merging in the Data Flow Space (DFS)
データフロー空間で異なる層間接続方法を探索して融合モデルの性能向上。
シリアル接続および非適応型構成で実験が行われた。
Merging in Both Spaces
PSとDFSで異なるアプローチが組み合わさり、融合モデルの性能向上が観測された。
複数目標への対応や大規模な複雑タスクへの拡張性も示唆された。
Stats
この手法は他の70Bパラメーター日本語LLMよりも優れた性能を示すことが確認されました。
Quotes
"我々は進化的アプローチで新しい基礎モデルを生成する可能性に挑戦します。"
"PSとDFSで異なるアプローチが組み合さり、融合モデルの性能向上が観測されました。"