大規模言語モデルのトリリオンパラメータ訓練のための低コスト高性能ネットワーク「Rail-only」

大規模言語モデルの訓練には、従来のフル接続ネットワークは必要ではなく、より低コストで効率的な「Rail-only」ネットワーク設計が可能である。