アダプティブ勾配法から平方根を取り除くことは可能か？第二の視点からの考察

핵심 개념

アダプティブメソッドの挙動が平方根を取り除くことでどのように変化するかを調査し、驚くほど、そのような平方根フリーなアダプティブメソッドは畳み込みニューラルネットワークにおけるSGDとの一般化差を埋めるだけでなく、ビジョントランスフォーマーにおけるルートベースの方法のパフォーマンスを維持することがわかった。

초록

アダプティブ勾配最適化法について、平方根を取り除いた場合の影響や利点に焦点を当てた研究。従来のトレーニングスキームと比較して、現代的なトレーニング戦略である非定数学習率スケジュールやランダムサーチなどで、平方根フリーなアダプティブメソッドが有効であることが示されています。また、この手法は低精度訓練にも適しており、数値不安定性を回避しながら逆行列フリーな行列適応方法を開発する可能性があります。

통계

平方根フリーなアダプティブメソッドは畳み込みニューラルネットワークにおけるSGDと一般化差を埋める。
平方根フリーな方法はビジョントランスフォーマーでルートベースの方法と同等のパフォーマンスを維持する。
平方根削除はサイン降下への接続性を排除し、適応的手法の理解に新しい問題提起。

인용구

"Removing the square root not only closes the generalization gap between adaptive methods and SGD on convolutional NNs, but also maintains the performance of square-root-based methods on vision transformers."
"Adaptive methods with square root work better than their square root free counterparts when using a constant learning rate schedule, default zero initialization, default scaling."

핵심 통찰 요약

Can We Remove the Square-Root in Adaptive Gradient Methods? A Second-Order Perspective

by Wu Lin,Felix... 게시일 arxiv.org 03-05-2024

https://arxiv.org/pdf/2402.03496.pdf

더 깊은 질문

適応的手法が成功する上で適応性が果たす役割について考えさせられます。これまで見落とされてきた部分ですが、その重要性は何か？

この研究から明らかになったのは、適応的手法の成功において、従来見落とされてきた適応性の役割が非常に重要であることです。従来、多くの注目や議論がサイン降下（sign descent）への関連付けに集中していましたが、本研究ではそれだけではなく適応性も同様に重要であることを示唆しています。特に畳み込みニューラルネットワーク（CNNs）やトランスフォーマーなど様々なアーキテクチャでの実験結果からも、適応性は決定的な役割を果たしており、これまで十分理解されてこなかった側面でもあることが浮き彫りになっています。