登入
洞見 - ハイパーパラメータ最適化
低リソース言語向けのトランスフォーマー
低リソース言語におけるトランスフォーマーモデルの性能向上と重要なドライバーを明らかにする。
適応型ハイパーパラメータ最適化による継続学習シナリオ
ハイパーパラメータの重要性を自動的に特定し、継続学習シナリオ全体で性能を向上させる方法を探求する。
効率的なトランスフォーマーベースのハイパーパラメータ最適化：リソース制約のあるIoT環境向け
TRL-HPOは、透明性と長い計算時間を解決する新しい方法を提案します。
データ連続学習におけるハイパーパラメータ選択の重要性
データ連続学習では、標準的なハイパーパラメータ最適化手法を適用できないため、データ連続学習に特化したハイパーパラメータ最適化フレームワークが必要とされている。本研究では、様々な現実的なハイパーパラメータ最適化フレームワークを評価し、計算効率が高く実用的な第一課題ハイパーパラメータ最適化が優れた性能を発揮することを示した。
精度可変型第一次近似法によるバイレベル最適化 - ハイパーパラメータ学習への応用
本研究では、近似的な勾配情報を用いてバイレベル最適化問題を解くための適応的な手法を提案する。提案手法は、下位問題の解の精度を動的に調整しながら、上位問題の目的関数の十分な減少を保証する。
ハイパーパラメータ最適化とメタ学習のための二段階最適化への確率的アプローチ
深層学習におけるハイパーパラメータ最適化とメタ学習のための新しい確率的勾配アプローチが提案されており、従来の決定論的な二段階最適化（BLO）が抱える課題を克服し、よりロバストで信頼性の高いハイパーパラメータ最適化を実現する。
応答曲面法を用いたアクチュアリアルニューラルネットワークの最適化：計算コストを削減しながら最適なハイパーパラメータを見つけるための効率的なアプローチ
本稿では、アクチュアリアルニューラルネットワーク（CANN）のハイパーパラメータ最適化に、応答曲面法（RSM）を用いた効率的な手法を提案し、従来のグリッドサーチよりも少ない実験回数で最適な設定を特定できることを示しています。
