Alapfogalmak
Post-Selection in der Maschinenlernen führt zu statistisch ungültigen Ergebnissen.
Kivonat
Dieser theoretische Artikel untersucht das Fehlverhalten im Deep Learning, insbesondere in Bezug auf Post-Selection. Es wird gezeigt, dass Post-Selection statistisch ungültig ist, selbst bei Verwendung von Nest-Cross-Validation. Die Autoren argumentieren, dass traditionelle Cross-Validation-Methoden das Fehlverhalten nicht retten können. Es werden neue Erkenntnisse zu allgemeiner Cross-Validation und sozialen Auswirkungen diskutiert.
I. EINLEITUNG
Deep Learning trainiert mehrere Netzwerke von verschiedenen Anfangsparametern.
Hauptfehlverhalten: Bericht nur der glücklichsten Netzwerke aus der Post-Selection.
II. POST-SELECTION FEHLVERHALTEN
Bekannte Deep Learning Netzwerke sind betroffen.
Post-Selection führt zu statistisch ungültigen Ergebnissen.
III. EXPERIMENTELLE PROTOKOLLE
Diskussion über Cross-Validation für Datenpartitionen.
Allgemeine Cross-Validation wird vorgestellt.
IV. LOST-LUCK THEOREM
Beweis, dass der glücklichste Netzwerk auf der Validierungsset nicht repräsentativ für zukünftige Tests ist.
Post-Selection führt zu falschen Schlussfolgerungen.
V. INPUT CROSS-VALIDATED POST-SELECTION
Diskussion über die Unzulänglichkeiten von NNWT und PGNN.
Beweis, dass sie zu niedrigen Validierungsfehlern führen, die nicht auf zukünftige Tests übertragbar sind.
VI. NEST-CROSS-VALIDATED POST-SELECTION
Diskussion über die Unzulänglichkeiten von Nest-Cross-Validation.
Beweis, dass sie zu niedrigen Validierungsfehlern führen, die nicht auf zukünftige Tests übertragbar sind.
VII. SOZIALE FRAGEN
Post-Selection ist statistisch ungültig und führt zu Verzerrungen.
Diskussion über die Ressourcenentwicklung und nationale Entwicklung.
VIII. SCHLUSSFOLGERUNGEN
Zusammenfassung der Ergebnisse und Implikationen für die Post-Selection in Deep Learning.
Statisztikák
"Die traditionelle Cross-Validation gibt n Netzwerke, nicht eins."
"NNWT und PGNN geben einen Validierungsfehler von null."
"Die Post-Selection ist statistisch ungültig."
Idézetek
"Post-Selection ist statistisch ungültig, selbst bei Verwendung von Nest-Cross-Validation."
"NNWT und PGNN können einen Validierungsfehler von null erreichen."