深層学習のためのハイパーパラメータ最適化における文脈依存フリーズ・サーモ Bayesian 最適化

深層学習モデルの性能を最大化するためのハイパーパラメータ最適化において、文脈依存フリーズ・サーモ Bayesian 最適化は、効率的にリソースを割り当てることができる有望なアプローチである。本研究では、事前データに適合したネットワーク(PFN)を活用した新しい代理モデル(FT-PFN)を提案し、これを用いた文脈依存フリーズ・サーモ Bayesian 最適化手法(ifBO)を開発した。ifBOは、既存手法と比べて予測精度と計算速度が大幅に向上しており、深層学習のハイパーパラメータ最適化の新しい最先端性能を示している。