로그인
통찰 - マルチモーダル表現学習
非同期マルチモーダルビデオシーケンスのモダリティ固有および非依存表現学習による融合
提案手法MEAは、モダリティ固有の特徴と非依存の特徴を学習することで、非同期マルチモーダルデータの融合を効果的に行う。
マルチモーダル分類をコントラスティブ学習で高速化する
マルチモーダル表現学習においてはこれまで主に異モーダル間のコントラスティブ学習に注目されてきたが、同モーダル内のコントラスティブ学習も同時に行うことで、各モーダルの表現力を高められることを示した。
多様なモダリティの表現学習のためのグラフ思考ベースのソフトプロンプト
提案するAGoTメカニズムは、マルチモーダル表現学習におけるソフトプロンプトチューニングのために、プロンプトの集約とプロンプトの流れを通じて、マルチモーダルの推論を改善する。
