แนวคิดหลัก
本稿では、センサの故障やデータのアクセス制限などにより、クエリと参照データの両方に一部のモダリティが欠損している場合でも、効率的な検索を可能にする新しいマルチモーダル検索フレームワーク「Any2Any」を提案する。
บทคัดย่อ
Any2Any:コンフォーマル予測を用いた不完全マルチモーダル検索
本論文は、クエリと参照インスタンスの両方に不完全なモダリティが存在する場合における、マルチモーダル検索の課題に取り組むことを目的とする。
Any2Anyと呼ばれる新しい検索フレームワークを提案する。これは、インスタンスに不完全なモダリティが含まれていても、モデルのトレーニングなしにマルチモーダルデータの検索を可能にする。
クロスモーダルエンコーダを用いて、インスタンスの既存のモダリティを処理し、ペアワイズのクロスモーダル類似度を計算する。
コンフォーマル予測を用いた2段階のキャリブレーションプロセスを採用し、類似度を調整する。第一段階では、コンフォーマル予測を用いて、類似度スコアを標準化し、正しい検索の確率に合わせる。第二段階では、複数の確率を、すべてのモダリティペアにわたる正しい検索の全体的な確率を表すスカラーに変換する。