クロスモーダルアダプターを用いた効率的な転移学習アプローチによるビジョン・ランゲージモデルの性能向上

クロスモーダル情報を統合したキャッシュモデルを構築し、モーダル間の類似度の動的な調整と学習困難サンプルの強化学習によって、ビジョン・ランゲージモデルの性能と汎化性を大幅に向上させる。