Fehlverhalten in der Post-Auswahl und Deep Learning

Główne pojęcia

Post-Selection in der Maschinenlernen führt zu statistisch ungültigen Ergebnissen.

Streszczenie

Dieser theoretische Artikel untersucht das Fehlverhalten im Deep Learning, insbesondere in Bezug auf Post-Selection. Es wird gezeigt, dass Post-Selection statistisch ungültig ist, selbst bei Verwendung von Nest-Cross-Validation. Die Autoren argumentieren, dass traditionelle Cross-Validation-Methoden das Fehlverhalten nicht retten können. Es werden neue Erkenntnisse zu allgemeiner Cross-Validation und sozialen Auswirkungen diskutiert.
I. EINLEITUNG

Deep Learning trainiert mehrere Netzwerke von verschiedenen Anfangsparametern.
Hauptfehlverhalten: Bericht nur der glücklichsten Netzwerke aus der Post-Selection.
II. POST-SELECTION FEHLVERHALTEN

Bekannte Deep Learning Netzwerke sind betroffen.
Post-Selection führt zu statistisch ungültigen Ergebnissen.
III. EXPERIMENTELLE PROTOKOLLE

Diskussion über Cross-Validation für Datenpartitionen.
Allgemeine Cross-Validation wird vorgestellt.
IV. LOST-LUCK THEOREM

Beweis, dass der glücklichste Netzwerk auf der Validierungsset nicht repräsentativ für zukünftige Tests ist.
Post-Selection führt zu falschen Schlussfolgerungen.
V. INPUT CROSS-VALIDATED POST-SELECTION

Diskussion über die Unzulänglichkeiten von NNWT und PGNN.
Beweis, dass sie zu niedrigen Validierungsfehlern führen, die nicht auf zukünftige Tests übertragbar sind.
VI. NEST-CROSS-VALIDATED POST-SELECTION

Diskussion über die Unzulänglichkeiten von Nest-Cross-Validation.
Beweis, dass sie zu niedrigen Validierungsfehlern führen, die nicht auf zukünftige Tests übertragbar sind.
VII. SOZIALE FRAGEN

Post-Selection ist statistisch ungültig und führt zu Verzerrungen.
Diskussion über die Ressourcenentwicklung und nationale Entwicklung.
VIII. SCHLUSSFOLGERUNGEN

Zusammenfassung der Ergebnisse und Implikationen für die Post-Selection in Deep Learning.

Statystyki

"Die traditionelle Cross-Validation gibt n Netzwerke, nicht eins."
"NNWT und PGNN geben einen Validierungsfehler von null."
"Die Post-Selection ist statistisch ungültig."

Cytaty

"Post-Selection ist statistisch ungültig, selbst bei Verwendung von Nest-Cross-Validation."
"NNWT und PGNN können einen Validierungsfehler von null erreichen."

Kluczowe wnioski z

Misconduct in Post-Selections and Deep Learning

by Juyang Weng o arxiv.org 03-05-2024

https://arxiv.org/pdf/2403.00773.pdf

Głębsze pytania

Ist Post-Selection in anderen Bereichen außerhalb des Deep Learning ebenfalls problematisch?

Ja, die Problematik der Post-Selection, wie sie im Kontext des Deep Learning diskutiert wird, kann auch in anderen Bereichen auftreten. Post-Selection bezieht sich auf die Auswahl des besten Modells oder der besten Ergebnisse aus einer Reihe von Optionen, basierend auf einem Validierungsset. Dies kann zu Verzerrungen führen, da nur die besten Ergebnisse berichtet werden, während schlechtere Ergebnisse ausgeblendet werden. In anderen Bereichen, wie beispielsweise in der statistischen Inferenz oder bei Experimenten, kann eine selektive Berichterstattung über Ergebnisse zu falschen Schlussfolgerungen führen und die Reproduzierbarkeit der Studien beeinträchtigen.

Gibt es Gegenargumente, die die Ergebnisse dieses Artikels in Frage stellen könnten?

Ein mögliches Gegenargument könnte darauf hinweisen, dass die Anwendung von Post-Selection in bestimmten Fällen gerechtfertigt sein könnte, um die besten Ergebnisse zu präsentieren und die Effizienz zu maximieren. Es könnte argumentiert werden, dass die Auswahl des besten Modells aus einer Reihe von Optionen aufgrund von Validierungsdaten eine gängige Praxis ist, um die Leistung zu optimieren. Darüber hinaus könnten Bedenken hinsichtlich der Komplexität und des Ressourcenaufwands bei der Berichterstattung über alle trainierten Modelle oder Ergebnisse geäußert werden.

Wie können die Erkenntnisse aus diesem Artikel auf soziale Fragen angewendet werden, die über Deep Learning hinausgehen?

Die Erkenntnisse aus diesem Artikel könnten auf soziale Fragen angewendet werden, um aufzuzeigen, wie selektive Berichterstattung und Post-Selection auch in anderen Bereichen, wie Politik, Wirtschaft oder Bildung, zu Verzerrungen und ungenauen Schlussfolgerungen führen können. Beispielsweise könnten politische Entscheidungsträger dazu ermutigt werden, transparenter über ihre Entscheidungsprozesse zu berichten und alle relevanten Informationen zu präsentieren, um eine fundierte Diskussion und Bewertung zu ermöglichen. Darüber hinaus könnten die Prinzipien der General Cross-Validation und der Vermeidung von Post-Selection auch auf die Entwicklung von Richtlinien und Programmen angewendet werden, um sicherzustellen, dass Entscheidungen auf einer umfassenden und objektiven Bewertung basieren.