サインイン
インサイト - Lotterie-Ticket-Hypothese
Eine Umfrage zur Lotterie-Ticket-Hypothese
Eine dichte neuronale Netzwerkstruktur enthält ein stark spärliches Subnetzwerk (Gewinnertickets), das eine bessere Leistung als das Originalmodell erzielen kann.
Wie die Lotterie-Ticket-Hypothese und das iterative Magnitude-Pruning die Leistung von neuronalen Netzen beeinflussen
Es gibt spezielle Minima in der Verlustlandschaft neuronaler Netze, die eine gute Generalisierungsleistung aufweisen, aber ein sehr kleines Volumen im Originalraum haben. Das iterative Magnitude-Pruning-Verfahren legt solche Minima frei, die ansonsten verborgen bleiben würden.
