Sign In
insight - 画像認識 機械学習
知識蒸留における目標指向型トランスフォーマーの活用
教師モデルの各空間成分を学生モデル全体に蒸留することで、学生モデルの表現力を高める。
画像の分類モデルの効率的なテスト時適応手法
テスト時の分布シフトに対応するため、モデルの重みを変更せずに、入力プロンプトの最適化と活性化の調整を行うことで、効率的な適応を実現する。
視覚言語モデルのプロンプト学習における汎化性の向上
プロンプト学習の汎化性を向上させるため、プロンプトとメタ正則化の共同学習を提案する。
効率的なトークン拡張によるトランスフォーマーの高速な一般的な学習
提案手法のToEは、トランスフォーマーの中間特徴分布の完全性を維持しながら、トークンの冗長性を削減することで、トランスフォーマーの学習を効率的に高速化できる。
ごくわずかな微調整済みモデルで十分な高性能を実現する
わずか2つの微調整済みモデルを用いて、高精度かつロバストな性能を実現する効率的な手法を提案する。
画像分類タスクにおける基盤モデルの偏りを軽減し、精度を向上させる一般化ロジット調整法
基盤モデルは大規模Webデータの偏りにより、頻出クラスに偏った判断境界を学習してしまう。提案手法の一般化ロジット調整法は、この基盤モデルの偏りを推定し、微調整モデルと組み合わせることで、幅広いタスクにおいて大幅な精度向上を実現する。