この研究では、ニューラルネットワークの重みの特異値分解を分析することで、重みの直交基底が訓練中に安定化することを明らかにしている。この発見に基づいて、Orthogonality-Informed Adaptive Low-Rank (OIALR)と呼ばれる新しい訓練手法を提案している。
OIALRは、まず全ランクで訓練を行い、その後重みをUΣV^T表現に変換する。その後、Σのみを訓練し、一定の訓練ステップ毎にUとV^Tを更新する。これにより、ネットワークのサイズを徐々に縮小しながら、精度の維持や訓練時間の短縮を実現できる。
様々なデータセットやモデルアーキテクチャを用いた実験の結果、OIALRは従来の全ランク訓練と同等の精度を維持しつつ、大幅なパラメータ削減を実現できることが示された。さらに、ハイパーパラメータを適切に調整することで、従来手法を上回る性能を発揮できることも確認された。
На другой язык
из исходного контента
arxiv.org
Дополнительные вопросы