変換器のマルチヘッド自己注意(MHA)サブレイヤーは明確な低ランク構造を示すが、フィードフォワードネットワーク(FFN)サブレイヤーはそうではない。そのため、低ランク近似と構造化プルーニングを組み合わせた混合圧縮モデル(LoRAP)を提案する。MHAサブレイヤーには入力活性化加重SVD(AWSVD)を、FFNサブレイヤーには勾配フリーの構造化チャネルプルーニングを適用する。
