본 논문은 대조 학습을 위한 효율적인 MCMC 음수 샘플링 방법인 EMC2를 제안한다. 대조 학습에서는 양의 샘플과 대비되는 음의 샘플을 생성하는 것이 중요한데, 이는 계산량이 많아 어려운 문제이다.
EMC2는 적응형 메트로폴리스-해스팅 알고리즘을 사용하여 온라인으로 어려운 음수 샘플을 생성한다. 이를 통해 기존 방법들과 달리 작은 배치 크기에서도 전역 수렴을 보장하며, 낮은 계산 및 메모리 비용을 달성한다.
구체적으로, EMC2는 다음과 같은 특징을 가진다:
실험 결과, EMC2는 작은 배치 크기에서도 기존 방법들보다 빠른 수렴 속도와 우수한 성능을 보였다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Chung-Yiu Ya... at arxiv.org 04-17-2024
https://arxiv.org/pdf/2404.10575.pdfDeeper Inquiries