効率的なMCMCネガティブサンプリングによる大域的収束を持つ対照学習

本論文は、大域的収束を持つ対照学習のための効率的なMCMCネガティブサンプリング手法EMC2を提案する。EMC2は、適応的なメトロポリス・ヘイスティングスサブルーチンを利用して、最適化の過程で難易度に応じたネガティブサンプルを生成する。EMC2は、バッチサイズに依存せずにO(1/√T)の収束率を持つことを理論的に示す。また、数値実験により、EMC2が小さなバッチサイズでも効果的に機能し、ベースラインアルゴリズムと比較して同等以上の性能を達成することを示す。