Transformerにおけるランク落ちと信号伝播：スペクトル分析による考察

TransformerのAttention層におけるsoftmax関数の利用が、行列のスペクトルギャップを生み出し、ランク落ち（幅と深さ）と勾配爆発を引き起こす主要な原因となっている。