Llama-3の文脈長を一晩で10倍に拡張

GPT-4を使って合成した3.5Kの長文脈データを使って、Llama-3-8B-Instructの文脈長を8Kから80Kに効率的に拡張した。拡張されたモデルは長文脈タスクで優れた性能を示し、短文脈でも元のモデルと同等の能力を維持している。