ポスト処理による逆転現象 - モデル選択の早期化は適切か?

ポスト処理(温度スケーリング、アンサンブル、確率的重み平均化など)を適用すると、モデルの性能順位が逆転する現象が起こる。特に、ノイズの多いデータセットでこの現象が顕著に現れる。この逆転現象は、過剰適合の抑制、double descentの緩和、損失関数と誤差率のミスマッチの解消など、いくつかの利点をもたらす。