深層学習を用いた順序分類のためのPythonパッケージ「dlordinal」
dlordinalは、深層学習の順序分類手法を統合したPythonツールキットである。PyTorchをベースに、最新の深層学習手法を実装し、順序情報を活用するための損失関数、出力層、ドロップアウト手法、ソフトラベリングなどを提供する。
深層確率セグメンテーション:セグメンテーションモデルは確率推定器か?
深層学習モデルは確率推定を行うことができ、セグメンテーションタスクにおいても確率推定が重要である。本研究では、Calibrated Probability Estimation (CaPE)をセグメンテーションタスクに適用し、その影響を評価した。
メモリ使用量の削減によるより小さなGPUの実現: 圧縮された活性化関数を用いたバックプロパゲーション
深層ニューラルネットワークの訓練時のメモリ使用量を削減するために、活性化関数の圧縮を行うことで、より小さなGPUでも訓練が可能になる。
深層学習における適応的な正規化手法 - Unsupervised Adaptive Normalization (UAN)
Unsupervised Adaptive Normalization (UAN)は、深層学習の訓練プロセスにおいて、ニューロン活性化の分布変化に適応的に対応し、勾配の安定性を高めることで、収束速度の向上と深層学習モデルの性能向上を実現する。
深層学習手法の包括的レビューと手書き文字認識への適用範囲
深層学習アルゴリズムは、さまざまな分野で人間レベルの性能を達成してきた。特に、コンピュータビジョンやパターン認識の分野で大きな進歩を遂げている。本論文は、手書き文字認識分野における深層学習の既存研究に関するサーベイを行う。深層学習手法は手書き文字認識の精度向上や処理速度の向上に貢献してきたが、まだ多くの課題を抱えており、さらなる革新的な進歩が期待される。
ランダム化スムージングを用いた増分的なロバスト性認証
ランダム化スムージングを用いた深層ニューラルネットワークのロバスト性認証を効率的に行うための増分的なアプローチを提案する。元の深層ネットワークの認証結果を再利用することで、近似ネットワークの認証を高速に行うことができる。
ポスト処理による逆転現象 - モデル選択の早期化は適切か?
ポスト処理(温度スケーリング、アンサンブル、確率的重み平均化など)を適用すると、モデルの性能順位が逆転する現象が起こる。特に、ノイズの多いデータセットでこの現象が顕著に現れる。この逆転現象は、過剰適合の抑制、double descentの緩和、損失関数と誤差率のミスマッチの解消など、いくつかの利点をもたらす。
深層学習における持続的な可塑性の維持
深層学習システムは、新しいデータを学習する際に可塑性を失う傾向がある。この問題は深刻であり、持続的な学習を行う上で大きな障害となる。
深層学習最適化手法の重み更新式、減衰関数、学習率スケジュールの共同進化
深層学習モデルの性能を向上させるために、重み更新式、内部減衰関数、学習率スケジュールを同時に最適化する新しい手法を提案する。
鋭敏さ認識最小化と安定性の限界
鋭敏さ認識最小化(SAM)は、訓練中のニューラルネットワークのヘッセ行列の最大固有値を小さく保つことで、より滑らかな領域の解を見つける。