注意力遮罩與層歸一化在 Transformer 中的角色

本文深入探討了注意力遮罩和層歸一化對 Transformer 模型中注意力機制和表徵坍塌現象的影響，揭示了局部注意力和層歸一化在減緩表徵坍塌、提升模型表達能力方面的關鍵作用。