이 논문은 확산 모델이 고차원 이미지 데이터의 밀도를 학습하는 과정을 분석한다.
먼저 학습 데이터 세트의 크기에 따라 확산 모델이 데이터 메모리화에서 일반화로 전이되는 과정을 보여준다. 작은 데이터 세트에서는 모델이 학습 데이터를 그대로 기억하지만, 데이터 세트가 충분히 크면 서로 다른 데이터 세트에서 학습된 모델이 동일한 탈노이즈 함수를 학습하게 된다. 이는 모델의 분산이 0으로 수렴하는 강한 일반화를 의미한다.
다음으로 이러한 일반화 능력의 원인을 분석한다. 탈노이즈 네트워크의 자코비안 분해를 통해 네트워크가 기하학 적응형 조화 기저(GAHB)에서 수축 연산을 수행함을 보인다. 이는 이미지의 기하학적 특징에 맞춰 적응된 조화 함수로 구성된 기저이다.
이러한 GAHB 기저는 Cα 클래스의 이미지에 대해 최적의 표현을 제공하며, 실험 결과 확산 모델이 이러한 최적 성능에 근접함을 보인다. 반면 저차원 다양체 상에 분포하는 이미지 클래스에 대해서는 GAHB 기저가 최적이 아니며, 모델의 성능이 최적에 미치지 못함을 보인다. 이는 확산 모델의 귀납적 편향이 GAHB 기저에 맞춰져 있음을 시사한다.
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by Zahr... klokken arxiv.org 03-19-2024
https://arxiv.org/pdf/2310.02557.pdfDypere Spørsmål