ビジョントランスフォーマーの学習効率を向上させるため、データロトリーチケットの選択とスパース性プルーニングを組み合わせた新しい手法「LOTUS」を提案する。
畳み込みニューラルネットワークのアーキテクチャ誘導バイアスをビジョントランスフォーマーの注意メカニズムの初期化に組み込むことで、小規模データセットに対する高い学習効率を実現する。
