ハードウェアに対応したアテンションヘッドの文脈シャーディング：S2-Attention

ハードウェアに最適化されたスパースアテンションの実装により、大規模言語モデルの効率的な学習と推論を実現する。