大規模言語モデルにおけるGLU変種の依存性を考慮したセミ構造化スパース性

大規模言語モデルの重要なパラメータであるGLU変種のMLPモジュールを、重みの大きさと対応する中間活性化の大きさを考慮したセミ構造化スパース化手法を提案し、従来手法を上回る性能を示した。