핵심 개념
SDXL-Lightning은 새로운 상태-of-the-art를 달성하는 확산 증류 방법을 제안합니다.
초록
1. 소개
확산 모델은 다양한 응용 분야에서 최첨단 결과를 달성했습니다.
확산 모델의 반복 생성 과정은 느리고 계산적으로 많은 비용이 소요됩니다.
높은 품질의 샘플을 더 빠르게 생성하는 것이 활발히 연구되고 있습니다.
2. 배경
확산 모델의 전방 확산 과정은 데이터 분포에서 가우시안 노이즈 분포로 점진적으로 변환합니다.
잠재 확산 모델은 먼저 데이터를 더 압축된 잠재 공간으로 인코딩하는 VAE를 훈련합니다.
진보적 증류는 학생이 선생님이 여러 단계를 수행한 것처럼 다음 흐름 위치를 예측하도록 학습합니다.
3. 방법
증류 절차는 MSE 손실로 128단계에서 32단계로 진행됩니다.
이후, 32 → 8 → 4 → 2 → 1로 순서대로 적대적 손실을 사용하여 증류합니다.
안정적인 훈련 기술을 적용하여 1단계 및 2단계 증류를 안정화합니다.
4. 평가
FID 및 CLIP 점수를 통해 다른 방법들과 비교하여 우수한 성능을 보입니다.
이미지 품질과 다양성에서 우수한 결과를 보이며 텍스트 정렬 성능도 유사합니다.
5. 한계
다른 방법들과 달리 유연한 증류 체크포인트를 제공하지 않습니다.
UNet 아키텍처가 1단계 생성에 최적화되지 않을 수 있습니다.
6. 결론
SDXL-Lightning은 새로운 상태-of-the-art를 달성하는 텍스트-이미지 생성 모델을 제공합니다.
통계
우리의 방법은 128 → 32 → 8 → 4 → 2 → 1 단계로 증류합니다.
인용구
"진보적 증류는 학생이 선생님이 여러 단계를 수행한 것처럼 다음 흐름 위치를 예측하도록 학습합니다."
"진보적 증류는 학생이 선생님이 여러 단계를 수행한 것처럼 다음 흐름 위치를 예측하도록 학습합니다."