
Deep Neural Collapse (DNC), while exhibiting desirable properties like within-class variability collapse, is not inherently optimal due to a low-rank bias in deep networks, challenging previous assumptions.


coremsg

low-rank-bias-challenges-optimality-of-deep-neural-collapse-in-deep-networks


Low-Rank Bias Challenges Optimality of Deep Neural Collapse in Deep Networks


title_rewrite


심층 신경망 붕괴(DNC) 현상은 데이터의 고유한 특징 학습을 통해 나타나며, 특히 평균 기울기 외적 곱(AGOP)을 활용한 투영이 DNC 형성의 핵심 메커니즘임을 제시합니다.


심층-신경망-붕괴-메커니즘으로서의-평균-기울기-외적-곱


심층 신경망 붕괴 메커니즘으로서의 평균 기울기 외적 곱
