Grunnleggende konsepter
체크포인트 간 선형 조합을 통해 기존 SGD 기반 학습으로는 도달할 수 없었던 높은 성능의 모델 가중치를 찾을 수 있다.
Sammendrag
이 논문은 확산 모델(DM)과 일관성 모델(CM)의 학습 과정을 분석하고, 중간 체크포인트들의 선형 조합을 통해 모델 성능을 향상시키는 LCSC 방법을 제안한다.
모델 가중치 공간을 시각화하여 SGD로는 도달하기 어려운 높은 성능의 영역이 존재함을 확인
기존에 사용되던 지수 이동 평균(EMA) 방식이 최적이 아님을 보이고, 진화 알고리즘 기반의 LCSC 방법을 제안
LCSC를 통해 두 가지 활용 사례를 보임:
학습 비용 감소: 적은 반복 횟수 또는 작은 배치 크기로도 기존 모델과 유사한 성능을 달성
학습된 모델 성능 향상: 학습이 완료된 모델에 LCSC를 적용하여 생성 품질 또는 생성 속도 향상
LCSC는 추가적인 역전파 없이 효율적으로 동작하며, 미분 가능하지 않은 지표에 대해서도 최적화가 가능
Statistikk
CIFAR-10 데이터셋에서 Consistency Distillation 모델의 경우 800K 반복 대비 23배 학습 속도 향상
ImageNet-64 데이터셋에서 Consistency Distillation 모델의 경우 600K 반복 대비 15배 학습 속도 향상