이 논문에서는 에너지 기반 보정 VAE(EC-VAE)라는 새로운 생성 모델을 제안합니다. VAE는 생성 방향에 대한 명시적인 최적화가 부족하여 흐릿하거나 왜곡된 샘플을 생성하는 문제가 있습니다. 반면 EBM은 고품질의 샘플을 생성할 수 있지만 느린 MCMC 샘플링이 필요합니다.
EC-VAE는 이러한 문제를 해결하기 위해 조건부 EBM을 도입하여 VAE의 생성 방향을 보정합니다. 구체적으로 VAE에서 생성된 샘플을 입력으로 하여 MCMC 샘플링을 수행하고, 생성된 샘플과 보정된 샘플 간의 거리를 최소화하는 방식으로 VAE의 생성 방향을 보정합니다. 이를 통해 테스트 시 MCMC 샘플링 없이도 고품질의 샘플을 생성할 수 있습니다.
또한 저자들은 에너지 기반 보정 아이디어를 변분 학습과 정규화 흐름에도 적용하였으며, 제로 샷 이미지 복원 문제에도 적용하였습니다. 실험 결과, EC-VAE는 다양한 데이터셋에서 기존 VAE, EBM, 그리고 GAN 모델들을 크게 능가하는 성능을 보였습니다.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Yihong Luo,S... kl. arxiv.org 04-09-2024
https://arxiv.org/pdf/2311.04071.pdfDybere Forespørgsler