低ランク相互接続アダプテーション

低ランクアダプテーション(LoRA)は重みの更新を低ランク射影行列を使って近似するが、これは重みの更新を低ランク空間に制限してしまう。本研究では、層間の低次元射影行列(LP)と高次元射影行列(HP)を階層的に構造化し、HPを全層で共有することで、重みの更新を高ランク化し、層間の情報依存関係をモデル化することを提案する。