Vereinheitlichung niedrigdimensionaler Beobachtungen im Deep Learning durch das Deep Linear Unconstrained Feature Model

Die Arbeit zeigt, dass die beobachteten niedrigdimensionalen Strukturen in den Hessischen Spektren, Gradienten und Gewichtsmatrizen von Deep-Learning-Modellen innerhalb des Deep Linear Unconstrained Feature Model mit MSE-Verlust analytisch hergeleitet werden können. Die Struktur, die durch das Deep Neural Collapse-Phänomen induziert wird, führt zu den anderen beobachteten niedrigdimensionalen Strukturen, und es werden Ausdrücke für die Eigenvektoren und Eigenwerte in Bezug auf Deep Neural Collapse-Größen angegeben.