低リソース言語におけるトランスフォーマーモデルの性能向上と重要なドライバーを明らかにする。
ハイパーパラメータの重要性を自動的に特定し、継続学習シナリオ全体で性能を向上させる方法を探求する。
TRL-HPOは、透明性と長い計算時間を解決する新しい方法を提案します。
データ連続学習では、標準的なハイパーパラメータ最適化手法を適用できないため、データ連続学習に特化したハイパーパラメータ最適化フレームワークが必要とされている。本研究では、様々な現実的なハイパーパラメータ最適化フレームワークを評価し、計算効率が高く実用的な第一課題ハイパーパラメータ最適化が優れた性能を発揮することを示した。
本研究では、近似的な勾配情報を用いてバイレベル最適化問題を解くための適応的な手法を提案する。提案手法は、下位問題の解の精度を動的に調整しながら、上位問題の目的関数の十分な減少を保証する。
深層学習におけるハイパーパラメータ最適化とメタ学習のための新しい確率的勾配アプローチが提案されており、従来の決定論的な二段階最適化(BLO)が抱える課題を克服し、よりロバストで信頼性の高いハイパーパラメータ最適化を実現する。
本稿では、アクチュアリアルニューラルネットワーク(CANN)のハイパーパラメータ最適化に、応答曲面法(RSM)を用いた効率的な手法を提案し、従来のグリッドサーチよりも少ない実験回数で最適な設定を特定できることを示しています。