고품질 확산 기반 텍스트-이미지 생성을 위한 원스텝 모델 InstaFlow

Core Concepts

확산 모델은 텍스트-이미지 생성에서 뛰어난 품질과 창의성을 보여주지만, 다단계 샘플링 과정으로 인해 느린 속도가 문제였다. 본 연구에서는 Rectified Flow 기법을 활용하여 Stable Diffusion 모델을 원스텝 모델인 InstaFlow로 변환하였고, 이를 통해 기존 대비 월등한 속도와 성능을 달성하였다.

Abstract

본 논문은 확산 모델 기반 텍스트-이미지 생성 모델의 효율성 향상을 다룬다. 기존 확산 모델은 다단계 샘플링 과정으로 인해 느린 속도가 문제였는데, 저자들은 Rectified Flow 기법을 활용하여 이를 해결하였다.
Rectified Flow는 확률 흐름의 궤적을 직선화하고 노이즈와 이미지의 결합을 개선하여 증류 과정을 용이하게 한다. 저자들은 이를 활용하여 Stable Diffusion 모델을 원스텝 모델인 InstaFlow로 변환하였다.
InstaFlow-0.9B는 MS COCO 2017 데이터셋에서 FID 23.4를 달성하며, 기존 최고 성능이었던 Progressive Distillation 모델을 크게 앞섰다. 또한 InstaFlow-1.7B는 MS COCO 2014 데이터셋에서 FID 11.83을 기록하며, StyleGAN-T 모델을 능가하는 성능을 보였다. 이는 순수 지도 학습만으로 달성한 결과로, 기존 GAN 기반 모델 대비 훨씬 적은 학습 비용이 소요되었다.

Stats

본 연구에서 제안한 InstaFlow-0.9B 모델은 MS COCO 2017 데이터셋에서 FID 23.4를 달성하였다.
InstaFlow-1.7B 모델은 MS COCO 2014 데이터셋에서 FID 11.83을 기록하였다.
InstaFlow 모델들은 0.09~0.12초 내에 이미지를 생성할 수 있다.

Quotes

"확산 모델은 텍스트-이미지 생성에서 뛰어난 품질과 창의성을 보여주지만, 다단계 샘플링 과정으로 인해 느린 속도가 문제였다."
"Rectified Flow는 확률 흐름의 궤적을 직선화하고 노이즈와 이미지의 결합을 개선하여 증류 과정을 용이하게 한다."
"InstaFlow-0.9B는 MS COCO 2017 데이터셋에서 FID 23.4를 달성하며, 기존 최고 성능이었던 Progressive Distillation 모델을 크게 앞섰다."

Key Insights Distilled From

InstaFlow

by Xingchao Liu... at arxiv.org 03-26-2024

https://arxiv.org/pdf/2309.06380.pdf

Deeper Inquiries

확산 모델의 다단계 샘플링 과정을 단일 단계로 압축하는 것이 가능한 이유는 무엇일까?

확산 모델은 다단계 샘플링 과정을 통해 이미지를 생성하는데, 이러한 다단계 과정은 시간과 계산 비용이 많이 소요됩니다. 이러한 다단계 샘플링 과정을 단일 단계로 압축하는 것이 가능한 이유는 Rectified Flow와 Reflow 기법을 활용하여 확률 흐름의 궤적을 직선화하고, 이를 통해 확률 흐름 모델의 궤적을 더 직선적으로 만들어서 적은 수의 Euler 단계로 빠르게 시뮬레이션할 수 있기 때문입니다. 이러한 직선화된 궤적은 확률 흐름 모델의 효율적인 증류 과정을 가능하게 하며, 이를 통해 단일 단계로 빠르게 고품질 이미지를 생성할 수 있게 됩니다.

확률 흐름의 궤적을 직선화하는 Rectified Flow 기법은 무엇이며, 이것이 증류 과정에 어떤 영향을 미치는가?

Rectified Flow는 두 분포 간의 전송 매핑을 학습하는 ODE 기반 프레임워크로, 두 분포 간의 관측을 통해 학습됩니다. 이때, Rectified Flow는 궤적을 직선화하여 빠른 시뮬레이션을 가능하게 합니다. 이러한 직선화된 궤적은 증류 과정에서 중요한 역할을 합니다. Reflow는 Rectified Flow의 일종으로, 궤적을 직선화하는 반복적인 절차로, 극단적인 변화 없이 궤적을 직선화하고 전송 매핑의 전송 비용을 줄이는 역할을 합니다. 이러한 직선화된 궤적은 증류 과정을 용이하게 하며, 학습 과정을 향상시킵니다.

InstaFlow 모델이 기존 GAN 기반 모델에 비해 훨씬 적은 학습 비용으로 우수한 성능을 달성할 수 있었던 이유는 무엇일까?

InstaFlow 모델이 기존 GAN 기반 모델에 비해 훨씬 적은 학습 비용으로 우수한 성능을 달성할 수 있는 이유는 Rectified Flow와 Reflow 기법을 활용하여 효율적인 증류 과정을 통해 더 빠르고 효율적으로 이미지를 생성할 수 있기 때문입니다. 또한, InstaFlow는 큰 규모의 모델을 사용하여 성능을 향상시키는데, 이는 더 많은 매개변수를 사용하여 더 복잡한 이미지를 생성할 수 있게 합니다. 이러한 기술적 혁신과 큰 모델 규모를 통해 InstaFlow는 뛰어난 성능을 달성하면서도 학습 비용을 절감할 수 있었습니다.