점수 기반 확산 모델의 학습 효율을 높이기 위해 로그 밀도 Fokker-Planck 방정식을 수치적으로 해결하여 사전에 계산된 점수를 이미지에 임베딩하는 방법을 제안한다.
확산 모델을 활용하여 전경과 배경이 조화로운 이미지를 생성하는 방법을 제안합니다. 이를 위해 사전 학습된 잠재 확산 모델을 이미지 조화화 작업에 적용하고, 해상도 향상과 추가 정제 단계를 도입하여 이미지 왜곡 문제를 해결합니다.
제안된 방법은 부분적으로 가려진 이미지를 다양하게 완성할 수 있는 새로운 접근법을 제시합니다. 이를 위해 부분적으로 가려진 이미지를 잠재 코드로 인코딩하고, 이 코드를 이용해 누락된 부분을 예측하며, 예측된 코드와 부분 이미지 정보를 결합하여 완성된 이미지를 생성합니다.
본 연구는 실사 이미지를 확산 모델의 도메인으로 역전시키는 새로운 방법인 ReNoise를 제안한다. ReNoise는 역전 과정에서 반복적인 노이징을 통해 역전 정확도를 높이고, 편집 가능성을 유지한다.
일반화된 일관성 궤적 모델(GCTM)은 확산 모델의 반복적 특성을 활용하여 임의의 두 분포 간 단일 단계 변환을 가능하게 한다. 이를 통해 이미지 편집, 복원, 변환 등 다양한 이미지 조작 작업을 효율적으로 수행할 수 있다.
본 논문은 안정적이고 시각적으로 일관된 이미지 인페인팅을 달성하기 위해 사전 학습된 안정적 확산 모델(Stable Diffusion)을 활용하는 방법을 제안한다.
충분히 큰 학습 데이터 세트를 사용하면 서로 다른 학습 데이터 세트에서 학습된 두 개의 탈노이즈 네트워크가 거의 동일한 탈노이즈 함수를 학습하게 되어, 동일한 밀도 모델을 학습한다. 이는 이러한 네트워크의 귀납적 편향이 이미지 데이터의 실제 분포와 잘 부합되어 있음을 보여준다.
픽셀 인식 크로스 어텐션 모듈과 조정 가능한 노이즈 스케줄을 도입하여 사실적이고 지각적으로 우수한 이미지 초해상도 및 개인화된 스타일화를 달성하였다.
확산 모델을 이용한 자연 이미지 보간 시 발생하는 아티팩트 문제를 해결하기 위해 노이즈 수정 기법을 제안하였다. 제안 기법은 노이즈 수준을 조절하고 원본 이미지 정보를 보존하여 보간 결과의 품질을 향상시킨다.