본 논문은 실사 이미지를 확산 모델의 도메인으로 역전시키는 새로운 방법인 ReNoise를 제안한다. 확산 모델은 가우시안 노이즈에서 시작하여 단계적으로 이미지를 생성하는데, 이 과정은 역전될 수 없다. 따라서 실사 이미지를 모델의 잠재 공간으로 역전시키는 것이 중요한 과제이다.
ReNoise는 역전 과정에서 반복적인 노이징을 통해 역전 정확도를 높인다. 기존 방법은 단순히 역방향 샘플링 프로세스를 사용하지만, ReNoise는 각 역전 단계에서 여러 번의 노이징을 수행하여 더 정확한 방향을 추정한다. 이를 통해 적은 수의 단계로도 높은 품질의 역전 결과를 얻을 수 있다.
또한 ReNoise는 편집 가능성을 유지하기 위해 노이즈 맵 분포를 정규화하는 기술을 사용한다. 이를 통해 역전된 잠재 코드가 원본 이미지를 잘 복원하면서도 텍스트 기반 편집이 가능하도록 한다.
실험 결과, ReNoise는 다양한 확산 모델과 샘플러에서 높은 역전 정확도와 편집 가능성을 보여주었다. 특히 최근 도입된 적은 수의 단계로 고품질 이미지를 생성하는 모델에서 효과적이었다.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Daniel Garib... a las arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14602.pdfConsultas más profundas