メモリ使用量の削減によるより小さなGPUの実現: 圧縮された活性化関数を用いたバックプロパゲーション
深層ニューラルネットワークの訓練時のメモリ使用量を削減するために、活性化関数の圧縮を行うことで、より小さなGPUでも訓練が可能になる。
深層学習における適応的な正規化手法 - Unsupervised Adaptive Normalization (UAN)
Unsupervised Adaptive Normalization (UAN)は、深層学習の訓練プロセスにおいて、ニューロン活性化の分布変化に適応的に対応し、勾配の安定性を高めることで、収束速度の向上と深層学習モデルの性能向上を実現する。
深層学習手法の包括的レビューと手書き文字認識への適用範囲
深層学習アルゴリズムは、さまざまな分野で人間レベルの性能を達成してきた。特に、コンピュータビジョンやパターン認識の分野で大きな進歩を遂げている。本論文は、手書き文字認識分野における深層学習の既存研究に関するサーベイを行う。深層学習手法は手書き文字認識の精度向上や処理速度の向上に貢献してきたが、まだ多くの課題を抱えており、さらなる革新的な進歩が期待される。
ランダム化スムージングを用いた増分的なロバスト性認証
ランダム化スムージングを用いた深層ニューラルネットワークのロバスト性認証を効率的に行うための増分的なアプローチを提案する。元の深層ネットワークの認証結果を再利用することで、近似ネットワークの認証を高速に行うことができる。
ポスト処理による逆転現象 - モデル選択の早期化は適切か?
ポスト処理(温度スケーリング、アンサンブル、確率的重み平均化など)を適用すると、モデルの性能順位が逆転する現象が起こる。特に、ノイズの多いデータセットでこの現象が顕著に現れる。この逆転現象は、過剰適合の抑制、double descentの緩和、損失関数と誤差率のミスマッチの解消など、いくつかの利点をもたらす。
深層学習における持続的な可塑性の維持
深層学習システムは、新しいデータを学習する際に可塑性を失う傾向がある。この問題は深刻であり、持続的な学習を行う上で大きな障害となる。
深層学習最適化手法の重み更新式、減衰関数、学習率スケジュールの共同進化
深層学習モデルの性能を向上させるために、重み更新式、内部減衰関数、学習率スケジュールを同時に最適化する新しい手法を提案する。
鋭敏さ認識最小化と安定性の限界
鋭敏さ認識最小化(SAM)は、訓練中のニューラルネットワークのヘッセ行列の最大固有値を小さく保つことで、より滑らかな領域の解を見つける。
深層ニューラルネットワークのための特異リーマン幾何学的アプローチ III. 区分的微分可能層とn次元クラスのランダムウォーク
本論文では、従来の滑らかな活性化関数に加えて、ReLUなどの非微分的な活性化関数を持つ深層ニューラルネットワークの幾何学的解析を行う。特に、n次元の等価クラスの構造と、それらの間を移動するランダムウォークによる探索手法を提案する。
深層学習における低次元観測の統一 - 深層線形無制約特徴モデルを通して
深層ニューラルネットワークにおいて観察される様々な低次元構造は、深層線形無制約特徴モデルにおける深層ニューラルコラプス現象によって統一的に説明できる。
© 2024 by Linnk AI