Deep Learning Misconduct and Post-Selection Analysis

Core Concepts

Post-Selection in machine learning is statistically invalid, even with cross-validation.

Abstract

この論文は、深層学習における不正行為とポスト選択の分析に焦点を当てています。著者は、一般的なクロスバリデーション原則が社会科学のいくつかの問題にも適用できる可能性があることを示唆しています。ポスト選択は、単一のランダムサンプルだけを扱い、FとVの空間でバイアスを持つことから統計的に無効であることが証明されました。NNWTやPGNNなどの手法は、入力および出力両方でクロスバリデーションを使用しても未来テストに対して誤った低い検証エラーを提供し、Super Learnerなど他の候補分類器は実用的ではない可能性があります。

Stats

本論文では、2007年にvan der Laanらが提案した「Super Learner」モデルが言及されています。
ニューラルネットワークモデル「NNWT」と「PGNN」は入力クロスバリデーションでゼロ検証エラーを示すことが証明されています。
クロスバリデーションにより、全体的な平均パフォーマンスが得られます。
ポスト選択は統計的に無効であり、将来テストへの期待されるパフォーマンスを誇張します。

Quotes

"Post-selection of certain national pride based on a validation set, such as making enemies, violence, and ideologies, appears not optimal for a future test."
"Short-sighted human behaviors are common. A politician would say, 'Regardless of what cost we will pay, we must ...'."

Key Insights Distilled From

Misconduct in Post-Selections and Deep Learning

by Juyang Weng at arxiv.org 03-05-2024

https://arxiv.org/pdf/2403.00773.pdf

Deeper Inquiries

質問1

ポスト選択は、クロスバリデーションを行っても統計的に無効であるようです。これが機械学習分野の研究結果の信頼性にどのような影響を与える可能性がありますか？
Answer 1 here

質問2

科学的実験や研究で見栄えの良いデータだけを報告し、幸運な結果だけを隠すことは倫理的ですか？
Answer 2 here

質問3

ポスト選択という概念は、機械学習や実験プロトコル以外の広範な社会問題にどのように適用され得るでしょうか？
Answer 3 here