核心概念
深層学習のハイパーパラメータ最適化において、1エポック後の早期打ち切りは、他の複雑な手法と比べて最小限の計算コストで高い予測性能を達成できる。
摘要
本研究では、深層学習のハイパーパラメータ最適化における早期打ち切り手法の性能を評価しています。
主な知見は以下の通りです:
- 一般的に使われている早期打ち切り手法(Successive Halving、学習曲線外挿)は、単純な1エポック後の打ち切りと比べて大きな付加価値を提供しません。
- 1エポック後の打ち切りは、他の手法と比べて大幅に少ない計算コストで、ほぼ同等の予測性能を達成できます。
- 学習曲線の振動が大きいほど、最終的な予測性能が低くなる傾向にあります。つまり、早期に打ち切ることが有効です。
- 最良のモデルは、しばしば訓練初期から優れた性能を示すことがわかりました。このため、1エポック後の打ち切りが有効に機能します。
全体として、深層学習のハイパーパラメータ最適化において、1エポック後の早期打ち切りは、計算コストを大幅に削減しつつ、ほぼ最適な予測性能を達成できる驚くべき手法であることが示されました。
統計資料
最良のモデルは訓練初期から優れた性能を示す。
学習曲線の振動が大きいほど、最終的な予測性能が低くなる。
約33%~80%のモデルが定数予測よりも性能が悪い。
引述
"深層学習のハイパーパラメータ最適化において、1エポック後の早期打ち切りは、他の複雑な手法と比べて最小限の計算コストで高い予測性能を達成できる。"
"学習曲線の振動が大きいほど、最終的な予測性能が低くなる傾向にある。"
"最良のモデルは、しばしば訓練初期から優れた性能を示す。"