Simultane lineare Konnektivität von neuronalen Netzwerken modulo Permutation
Neuronale Netzwerke weisen Permutationssymmetrien auf, die zu Nicht-Konvexität in ihren Verlustlandschaften führen. Jüngste Arbeiten haben argumentiert, dass Permutationssymmetrien die einzigen Quellen für Nicht-Konvexität sind, was bedeuten würde, dass es zwischen trainierten Netzwerken, wenn sie angemessen permutiert werden, im Grunde keine solchen Barrieren gibt. In dieser Arbeit verfeinern wir diese Argumente in drei verschiedene Behauptungen zunehmender Stärke.