Core Concepts
확산 모델의 샘플링 속도를 높이기 위해 샘플링 일정을 최적화하여 고품질의 출력을 생성할 수 있다.
Abstract
이 논문은 확산 모델의 샘플링 속도 향상을 위해 샘플링 일정을 최적화하는 방법을 제안한다.
확산 모델의 샘플링은 미분 방정식을 풀어 수행되며, 이때 사용되는 샘플링 일정이 중요한 역할을 한다. 기존 연구에서는 샘플링 일정을 직관적으로 설계했지만, 이 논문에서는 이를 최적화하는 방법을 제안한다.
논문에서는 샘플링 일정 최적화를 위해 Girsanov 정리를 이용하여 실제 확산 과정과 이산화된 확산 과정 사이의 Kullback-Leibler 발산 상한을 최소화하는 문제로 정식화한다. 이를 통해 데이터셋, 모델, 솔버에 따라 최적화된 샘플링 일정을 찾을 수 있다.
실험 결과, 최적화된 샘플링 일정을 사용하면 동일한 계산량에서 더 높은 품질의 출력을 생성할 수 있음을 보여준다. 이는 2D 데이터, 이미지, 비디오 생성 등 다양한 분야에서 확인되었다.
Stats
확산 모델의 샘플링 속도는 많은 순차적 함수 평가를 필요로 하여 느리다.
샘플링 일정을 최적화하면 동일한 계산량에서 더 높은 품질의 출력을 생성할 수 있다.
최적화된 샘플링 일정을 사용하면 CIFAR10에서 30단계 일정 대비 20단계 일정으로도 유사한 FID 성능을 달성할 수 있다.
Quotes
"Diffusion models (DMs) have established themselves as the state-of-the-art generative modeling approach in the visual domain and beyond."
"Sampling from DMs can be seen as solving a differential equation through a discretized set of noise levels known as the sampling schedule."
"While past works primarily focused on deriving efficient solvers, little attention has been given to finding optimal sampling schedules, and the entire literature relies on hand-crafted heuristics."