Concetti Chiave
확산 모델의 복잡한 구조와 높은 계산 요구로 인한 지연 문제를 해결하기 위해 모델 축소와 샘플링 단계 감소를 통해 실시간 이미지 생성을 달성하였다.
Sintesi
이 논문은 확산 모델의 복잡한 구조와 높은 계산 요구로 인한 지연 문제를 해결하기 위한 방법을 제안한다.
- 모델 축소: 지식 증류를 통해 U-Net 아키텍처와 이미지 디코더를 압축하여 모델 크기를 줄였다.
- 샘플링 단계 감소: 특징 매칭 손실과 점수 증류를 활용한 새로운 훈련 전략을 통해 단일 단계 생성 모델을 개발하였다.
- 이미지 조건 생성: 축소된 U-Net과 함께 ControlNet을 효율적으로 훈련하는 방법을 제안하였다.
이를 통해 GPU 상에서 실시간으로 1024x1024 해상도의 이미지를 생성할 수 있게 되었으며, 원본 모델 대비 성능 저하가 크지 않다.
Statistiche
기존 SD v2.1 모델 대비 SDXS-512는 30배 빠른 100 FPS의 추론 속도를 달성했다.
SDXS-1024는 SDXL 대비 60배 빠른 30 FPS의 추론 속도를 달성했다.
Citazioni
"확산 모델은 복잡한 아키텍처와 상당한 계산 요구로 인해 반복적인 샘플링 과정으로 인한 상당한 지연이 발생한다."
"우리는 모델 축소와 샘플링 단계 감소라는 이중 접근법을 도입하여 모델 지연을 크게 줄이고자 한다."