제한된 구간에서 가이던스를 적용하면 이미지 품질과 생성 속도가 향상됩니다.
잠재 확산 모델을 악용하여 저작권이 있는 콘텐츠를 숨기고 재생산할 수 있다.
MoMA는 참조 이미지와 텍스트 프롬프트를 활용하여 세부적이고 정체성이 유지되며 프롬프트에 충실한 새로운 이미지를 생성할 수 있는 오픈 볼래뷰리, 튜닝 없는 맞춤형 이미지 생성 모델이다.
BinaryDM은 확산 모델의 가중치를 1비트 한계까지 압축하기 위한 새로운 정확한 양자화 기반 학습 접근법을 제안합니다. 학습 가능한 다중 기저 이진화기(LMB)를 통해 이진화된 확산 모델의 표현을 개선하고, 저차원 표현 모방(LRM)을 통해 이진화 인식 최적화를 향상시킵니다. 또한 점진적 초기화 전략을 적용하여 수렴 어려움을 해결합니다.
제안된 Score identity Distillation (SiD) 방법은 사전 학습된 확산 모델의 생성 능력을 단일 단계 생성기로 빠르게 증류할 수 있으며, 원본 교사 확산 모델의 성능을 능가할 수 있다.
체크포인트 간 선형 조합을 통해 기존 SGD 기반 학습으로는 도달할 수 없었던 높은 성능의 모델 가중치를 찾을 수 있다.
본 연구는 관찰 기반 확산 확률 모델(OGDM)을 제안하여 이미지 생성 성능과 빠른 샘플링 속도 사이의 트레이드오프를 효과적으로 해결한다. OGDM은 관찰 과정의 지침을 마르코프 체인에 체계적으로 통합하여 훈련 목적을 재정립한다.
사전 학습된 이미지 생성 모델(GAN, VAE)에서 특정 특징(예: 얼굴 이미지의 헤어스타일)을 제거하는 방법을 제안한다. 타깃 특징이 이미지의 국소 영역에만 존재하므로, 전체 이미지를 제거하면 나머지 영역의 세부 정보가 손실될 수 있다. 따라서 타깃 특징을 나타내는 잠재 표현을 식별하고 이를 활용하여 사전 학습된 모델을 미세 조정함으로써 타깃 특징을 제거한다.
확산 모델의 샘플링 속도를 높이기 위해 기존 ODE 솔버의 지식을 더 작은 단계의 D-ODE 솔버로 효과적으로 증류하는 방법을 제안한다.
확산 모델은 노이즈에서 의미 있는 이미지를 생성할 때 개요를 먼저 결정하고 점차 세부 사항을 추가하는 방식으로 작동한다.