核心概念
本文提出了一種名為 SiDA 的新型圖像生成方法,它結合了分數身分蒸餾(SiD)和對抗生成網路(GAN)的優點,能夠在單步生成過程中超越教師模型的性能。
本研究論文介紹了一種名為 SiDA(結合對抗損失的分數身分蒸餾)的創新圖像生成方法,該方法旨在提升分數身分蒸餾(SiD)的效率和效果。SiDA 結合了 SiD 和擴散生成對抗網路(Diffusion-GAN)的優勢,能夠在單步生成過程中生成高品質圖像,同時顯著減少傳統分數蒸餾方法所需的迭代次數。
研究背景
傳統的深度生成模型,如生成對抗網路(GAN)和變分自編碼器(VAE),在生成逼真圖像方面存在局限性,例如訓練不穩定或生成多樣性不足。
擴散模型透過迭代優化過程生成逼真圖像,但速度較慢。
分數身分蒸餾(SiD)是一種數據無關的方法,透過利用預先訓練的擴散模型,無需任何訓練數據即可實現最先進的圖像生成性能。
SiDA 方法
SiDA 在 SiD 的基礎上,透過整合真實圖像和對抗損失來增強生成品質並提高蒸餾效率。
它利用生成器分數網路中的編碼器作為鑑別器,增強其區分真實圖像和 SiD 生成圖像的能力。
對抗損失在每個 GPU 內進行批次歸一化,然後與原始 SiD 損失相結合。
這種整合有效地將每個 GPU 批次的平均「虛假性」納入基於像素的 SiD 損失中,使 SiDA 能夠從頭開始或透過微調現有生成器來蒸餾單步生成器。
實驗結果
在 CIFAR-10、ImageNet、FFHQ 和 AFHQ-v2 等多個數據集上進行的實驗證明了 SiDA 的有效性。
SiDA 在生成品質方面始終優於基準擴散模型及其蒸餾模型,這一點可以透過改進的 Fréchet Inception Distance (FID) 和 Inception Score (IS) 來證明。
SiDA 還表現出更快的收斂速度,在單步生成過程中迅速超越了教師模型的性能。
結論
SiDA 是一種有效的圖像生成方法,它結合了 SiD 和對抗訓練的優點,在生成品質和效率方面均有顯著提升。SiDA 的成功為開發更強大、更高效的圖像生成技術開闢了新的途徑。
統計資料
SiDA 在 CIFAR-10 無條件生成中實現了 1.499 的 FID 分數。
SiDA 在 CIFAR-10 條件生成中實現了 1.396 的 FID 分數。
SiDA 在 ImageNet 64x64 生成中實現了 1.110 的 FID 分數。