リモートセンシング画像とテキスト検索の精度向上のため、グローバル・ローカル情報に基づく事前整列手法と、類似度行列の再重み付け、損失関数の最適化などを組み合わせた新しい手法を提案する。
テキストと分子の意味的関連性をより効果的に捉えるために、学習可能なメモリクエリと2次類似度損失を導入したクロスモーダル検索モデルを提案する。
UOT-RCLは、ノイズラベルに対する堅牢性を向上させ、異種データ間の不均質なギャップを狭めるための統一された最適輸送フレームワークを提案します。
異なるモダリティ間で有用な知識を取得するために、不一致ペアを再マッチングする方法を学ぶ。