核心概念
本文旨在解決傳統 Classifier-Free Guidance (CFG) 方法在擴散模型中存在的理論缺陷,提出修正後的 ReCFG 方法,通過放鬆引導係數並引入新的約束條件,消除預期偏移,實現更精準、更符合條件的圖像生成。
擴散概率模型 (DPM) 在高分辨率圖像生成方面取得了顯著的進展,而基於分類器引導的採樣方法 (CFG) 作為 DPM 中的一個重要組成部分,能夠有效提升條件生成的質量。然而,傳統的 CFG 方法存在理論上的缺陷,即引導分佈無法保證恢復真實的條件分佈,導致生成的圖像出現預期偏移,影響條件保真度。
本文首先回顧了條件 DPM 和 CFG 的理論基礎,並通過數學推導證明了 CFG 方法存在的預期偏移問題。為了解決這一問題,本文提出了修正後的 CFG 方法 (ReCFG),通過放鬆引導係數並引入新的約束條件,消除了預期偏移現象。具體而言,ReCFG 方法採用了以下策略:
放鬆引導係數: 傳統 CFG 方法中,條件和無條件分數函數的兩個係數之和為 1,而 ReCFG 方法放鬆了這一限制,允許係數根據輸入條件和時間步長進行調整,從而更靈活地控制生成分佈。
引入新的約束條件: 為保證引導採樣與擴散理論的相容性,並消除預期偏移,ReCFG 方法對引導係數進行了設計,確保:
每個條件分量 γ1,i > 1,以增強條件保真度;
使用 ReCFG 方法進行去噪是正向過程的逆過程,因此 q0,γ1,γ0(x0|c) 與真實分佈 q0(x0|c) 具有相同的期望;
q0,γ1,γ0(x0|c) 的方差小於或等於真實分佈 q0(x0|c) 的方差,以獲得更清晰的分布和更好的樣本。