본 논문은 실사 이미지를 확산 모델의 도메인으로 역전시키는 새로운 방법인 ReNoise를 제안한다. 확산 모델은 가우시안 노이즈에서 시작하여 단계적으로 이미지를 생성하는데, 이 과정은 역전될 수 없다. 따라서 실사 이미지를 모델의 잠재 공간으로 역전시키는 것이 중요한 과제이다.
ReNoise는 역전 과정에서 반복적인 노이징을 통해 역전 정확도를 높인다. 기존 방법은 단순히 역방향 샘플링 프로세스를 사용하지만, ReNoise는 각 역전 단계에서 여러 번의 노이징을 수행하여 더 정확한 방향을 추정한다. 이를 통해 적은 수의 단계로도 높은 품질의 역전 결과를 얻을 수 있다.
또한 ReNoise는 편집 가능성을 유지하기 위해 노이즈 맵 분포를 정규화하는 기술을 사용한다. 이를 통해 역전된 잠재 코드가 원본 이미지를 잘 복원하면서도 텍스트 기반 편집이 가능하도록 한다.
실험 결과, ReNoise는 다양한 확산 모델과 샘플러에서 높은 역전 정확도와 편집 가능성을 보여주었다. 특히 최근 도입된 적은 수의 단계로 고품질 이미지를 생성하는 모델에서 효과적이었다.
翻譯成其他語言
從原文內容
arxiv.org
深入探究