低ランク誘導トレーニングを通じた構造保持型ネットワーク圧縮

低ランク誘導トレーニング(LoRITa)は、線形層の合成を通じて低ランク性を促進し、特異値打ち切りを用いて圧縮を行う新しい手法である。事前学習モデルの初期化や圧縮ランクの指定を必要とせず、標準的な重み減衰正則化のみで実現できる。