Kernkonzepte
확산 모델의 양자화 과정에서 발생하는 양자화 노이즈를 효과적으로 제거하여 이미지 품질을 향상시킬 수 있는 방법을 제안한다.
Zusammenfassung
이 논문은 확산 모델의 양자화 과정에서 발생하는 두 가지 주요 문제를 분석하고, 이를 해결하기 위한 통합적인 양자화 노이즈 보정 방법인 QNCD를 제안한다.
첫째, 임베딩 결합 과정에서 발생하는 intra 양자화 노이즈를 줄이기 위해 채널별 smoothing 요소를 계산하여 특징 분포를 균형화한다.
둘째, 전체 샘플링 과정에서 누적되는 inter 양자화 노이즈를 실시간으로 추정하고 제거한다. 이를 통해 양자화된 모델의 출력 분포를 원본 모델과 더 유사하게 유지할 수 있다.
실험 결과, QNCD는 기존 양자화 방법들에 비해 ImageNet, LSUN-Bedrooms, CIFAR 등의 데이터셋에서 더 우수한 성능을 보였으며, 특히 낮은 비트 양자화 환경에서도 안정적인 결과를 달성했다. 또한 Stable Diffusion을 이용한 텍스트 기반 이미지 생성 실험에서도 기존 방법 대비 더 사실적이고 세부적인 이미지를 생성할 수 있었다.
Statistiken
확산 모델의 샘플링 과정에서 LPIPS 거리와 FID 지표가 양자화된 모델이 원본 모델보다 크게 증가한다.
양자화된 모델의 CLIP 점수가 원본 모델보다 3.16% 낮아진다.
Zitate
"확산 모델은 이미지 합성 분야에서 새로운 기준을 세웠지만, 높은 계산 비용으로 인해 널리 사용되기 어려운 문제가 있다."
"양자화는 확산 모델의 계산 비용을 줄일 수 있지만, 양자화 노이즈로 인해 이미지 품질이 크게 저하된다."