層正規化の再紹介: 幾何学的意味、不可逆性、RMSNormとの比較研究

層正規化は、ベクトルの一様ベクトルに沿った成分を除去し、残りのベクトルを正規化し、スケーリングすることで定義できる。この操作は不可逆であり、一様ベクトルに沿った情報は失われる。一方、RMSNormはこの操作を行わず、同等の性能を示す。