Keskeiset käsitteet
일관성 모델 학습에서 고수준 노이즈 레벨을 포함한 균형 잡힌 노이즈 분포와 커리큘럼이 중요하다. 이를 위해 다항식 기반 노이즈 스케줄링과 사인 함수 기반 커리큘럼을 제안한다.
Tiivistelmä
이 연구는 일관성 모델 학습을 위한 노이즈 스케줄링과 커리큘럼 개선 방법을 제안한다.
노이즈 스케줄링:
기존 기법은 저수준 노이즈에 편향된 로그 정규 분포를 사용했지만, 이는 고수준 노이즈 학습에 한계가 있음을 지적한다.
이에 따라 다항식 기반 노이즈 스케줄링을 제안하여 저수준과 고수준 노이즈의 균형을 유지한다.
또한 Karras 노이즈 생성 알고리즘의 한계를 극복하기 위해 사전 정의된 노이즈 배열을 사용한다.
커리큘럼:
기존 기법의 계단식 커리큘럼은 급격한 노이즈 레벨 변화로 인해 학습 불안정성이 발생함을 지적한다.
이에 따라 사인 함수 기반 커리큘럼을 제안하여 노이즈 레벨 변화를 점진적으로 조절한다.
또한 최대 노이즈 레벨 도달 이후 x0에 가까운 노이즈 레벨을 점진적으로 제거한다.
실험 결과, 제안 기법은 기존 기법 대비 FID 점수 향상을 보였다. 이는 균형 잡힌 노이즈 분포와 점진적 커리큘럼 조절이 일관성 모델 학습에 중요함을 시사한다.
Tilastot
고수준 노이즈(40 ≤ σ ≤ 80)를 mini-batch 크기의 4~12%로 추가하면 denoising 성능이 향상된다.
다항식 노이즈 스케줄링(차수 3)을 적용하면 FID 33.54를 달성한다.
사인 함수 기반 커리큘럼을 적용하면 FID 30.48을 달성한다.
Lainaukset
"일관성 모델 학습에서 고수준 노이즈 레벨을 포함하는 것이 필수적이다."
"Karras 노이즈 생성 알고리즘의 한계를 극복하기 위해 사전 정의된 노이즈 배열을 사용한다."
"사인 함수 기반 커리큘럼을 통해 노이즈 레벨 변화를 점진적으로 조절한다."