核心概念
限定プロトタイプ修正プロンプト学習(CPR)は、テキストと視覚の両方のプロトタイプを活用し、さらに未ラベルデータから知識を抽出することで、限定的なデータ環境下でも優れた性能を発揮する。
要約
本論文では、限定的なデータ環境下でも優れた性能を発揮する「限定プロトタイプ修正プロンプト学習(CPR)」を提案している。
CPRは以下の2つの戦略から成る:
- 条件付きアダプター(CoAdapter)
- 入力画像と視覚/テキストプロトタイプの関係を活用し、タスク固有の知識をモデル化する
- 視覚と言語の両方の構造知識を統合することで、タスク適応性を高める
- 最近傍修正(NNR)
- 未ラベルデータから有用な知識を抽出し、プロトタイプを修正する
- 外部データや合成データを必要とせず、効率的にデータを拡張できる
これらの2つの戦略により、CPRは基底クラスの偏りを軽減し、限定的なデータからも効果的にタスク固有の知識を獲得できる。
11個のベンチマークデータセットでの評価実験の結果、CPRは少shot学習と基底クラスから新クラスへの一般化の両方で、従来手法を大きく上回る性能を示した。特に、細粒度分類タスクでも優れた結果を得ている。
統計
限定的なデータ環境下でも優れた性能を発揮する
11個のベンチマークデータセットで従来手法を大きく上回る性能を示した