低ランク ニューラルネットワークの訓練における直交性の活用

ニューラルネットワークの重みの特異値分解を分析することで、重みの直交基底が訓練中に安定化することを示し、この発見に基づいて新しい訓練手法であるOIALRを提案している。