Connexion
Idée - 画像認識 言語モデル
CLIP モデルの汎用性を高めるための、クラス認識に基づくプロトタイプ整列と識別
ビジョン・言語モデルの汎用性を高めるため、クラス認識に基づくプロトタイプの整列と識別を行う。これにより、ドメイン間のギャップを効果的に埋めることができる。
画像-言語モデルのロバストなファインチューニング
ビジョン-言語モデルをドメインシフトや零距離学習などのOOD一般化を維持しつつ、ダウンストリームタスクに適応させる手法を提案する。
高速化を実現する短絡接続型エキスパート並列化MoE
短絡接続型MoEアーキテクチャは、従来のMoEにおける通信と計算の相互依存を解消し、大幅な処理速度の向上を実現する。
CLIPの画像表現の解釈:テキストベースの分解
CLIP画像エンコーダの内部構造を分解し、個々の構成要素がどのように最終的な表現に寄与しているかを明らかにする。
Produits
© 2024 by Linnk AI