本論文は、対照学習における効率的なネガティブサンプリング手法EMC2を提案している。
主な内容は以下の通り:
対照学習の損失関数を最小化する問題を定式化する。この問題では、正例ペアの類似度を最大化し、負例ペアの類似度を最小化することが目的となる。
ネガティブサンプルを効率的に生成するために、適応的なメトロポリス・ヘイスティングス(M-H)アルゴリズムを用いたEMC2を提案する。EMC2は、最適化の過程で動的にM-Hサンプルを更新することで、低メモリ・低計算量で機能する。
EMC2の収束性を理論的に解析し、バッチサイズに依存せずにO(1/√T)の収束率を持つことを示す。これは、従来のアルゴリズムと比べて優れた収束特性である。
画像エンコーダの事前学習タスクでEMC2の有効性を検証する。数値実験の結果、EMC2は小さなバッチサイズでも高い性能を達成し、ベースラインアルゴリズムと比較して優れた結果を示す。
本論文は、対照学習における効率的なネガティブサンプリング手法の開発と理論的な解析を行っており、自己教師あり学習分野の発展に貢献すると考えられる。
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Chung-Yiu Ya... alle arxiv.org 04-17-2024
https://arxiv.org/pdf/2404.10575.pdfDomande più approfondite