作為 Transformer 的意義：從理論海森分析中獲得的見解

本文通過對比 Transformer 和傳統神經網路（如 MLP 和 CNN）的海森矩陣，從理論角度分析了 Transformer 的損失地形，揭示了 Transformer 獨特的優化特性和挑戰。