過剰パラメータ化がOOD一般化に及ぼす利点

過剰パラメータ化された深層ニューラルネットワークは、非自明な自然分布シフトの下でも良好なOOD一般化性能を示す。これは、長尾特徴の直交性を利用することで、モデルの隠れ次元を増やすことでOOD損失を大幅に削減できるためである。また、モデルアンサンブルも同様の効果を発揮する。