自己教師学習ViTをパラメータ効率的にファインチューニングすることで、新しいドメインへの適応と既存の知識の保持のバランスを取ることができる。
事前学習済みビジョントランスフォーマーをダウンストリームタスクに適応させるためのパラメータ効率的なファインチューニング手法を提案する。低ランク再スケーリングと残差設計を組み合わせることで、事前学習モデルの一般化能力を保ちつつ、タスク固有の特徴を効果的に獲得できる。
