多様なモーダリティを活用した情報検索とランキングのための一般化された対照学習

本研究では、詳細な関連性スコアを含む大規模なマルチモーダルデータセットを収集し、ランキング情報を統合した一般化された対照学習フレームワーク(GCL)を提案する。GCLは、従来の対照学習手法を拡張し、文書のランキングを直接的に学習することができる。実験の結果、GCLは従来手法に比べて大幅な性能向上を示した。