DDIL：透過模仿學習改進擴散蒸餾技術

핵심 개념

DDIL 透過結合資料分佈和學生模型預測分佈來改進訓練分佈，從而解決了多步蒸餾擴散模型中的協變量偏移問題，在保持生成多樣性的同時提高了效率。

초록

DDIL：透過模仿學習改進擴散蒸餾技術

這篇研究論文介紹了 DDIL（Diffusion Distillation with Imitation Learning），這是一個用於蒸餾擴散模型的新框架，旨在解決多步蒸餾模型中出現的協變量偏移問題。

研究目標：

本研究旨在解決多步蒸餾擴散模型中生成品質下降的問題，特別是在降低去噪步驟數量的情況下。作者將協變量偏移確定為導致效能不佳的主要因素，並提出 DDIL 來解決這個問題。

方法：

DDIL 框架受到模仿學習中 DAgger 演算法的啟發，透過結合三個來源的潛在變數樣本來增強訓練分佈：(1) 數據集的前向擴散；(2) 學生模型的後向軌跡（展開的潛變量）；(3) 教師模型的後向軌跡。這種方法結合了以下優點：

• **保留邊緣資料分佈：**在資料分佈上進行訓練可確保學生模型維持原始資料的固有統計特性，從而保持生成樣本的多樣性。
• **校正協變量偏移：**在後向軌跡上進行訓練使學生模型能夠識別並適應協變量偏移，從而提高分數估計的準確性，尤其是在少量步驟的設定中。

此外，該研究還採用了反射擴散公式進行蒸餾，並證明了其在不同蒸餾方法中都能提高效能和訓練穩定性。

主要發現：

• DDIL 在多種蒸餾技術（包括漸進式蒸餾 (PD)、潛變量一致性蒸餾 (LCM) 和分佈匹配蒸餾 (DMD2)）中始終如一地提高了效能。
• 與僅在後向軌跡上進行蒸餾的方法相比，DDIL 生成的樣本更加多樣化，並有效減輕了模式崩潰的問題。
• 透過結合 DDIL 和反射擴散蒸餾公式，可以增強訓練穩定性，並使用更小的批次大小和更少的梯度更新步驟實現強大的效能。

意義：

這項研究為解決擴散模型蒸餾中的關鍵挑戰（協變量偏移）提供了一種新穎且有效的方法。透過提高訓練分佈的品質，DDIL 促進了更高效、更穩定的蒸餾過程，從而產生了品質和多樣性更高的生成樣本。

局限性和未來研究方向：

該研究主要集中在文字到圖像的生成任務上。未來的工作可以探索 DDIL 在其他生成建模任務中的應用，例如音訊生成或影片生成。此外，研究更先進的採樣策略以進一步增強 DDIL 框架也將是有益的。

통계

4 步驟的 PD + DDIL 模型在 MS-COCO 2017-5K 驗證集上的 FID 為 22.42，CLIP 分數為 0.302。
4 步驟的 LCM + DDIL 模型在 MS-COCO 2017-5K 驗證集上的 FID 為 22.86，CLIP 分數為 0.309。
使用 DDIL 的 DMD2 在 MS-COCO 2017-5K 驗證集上實現了與使用較大批次大小和更長訓練時間的 DMD2 相當的結果。

인용구

"我們將協變量偏移確定為影響多步蒸餾擴散模型生成品質的關鍵因素。"
"DDIL 透過結合資料分佈和學生模型預測分佈來改進訓練分佈。"
"我們證明了 DDIL 始終如一地改進了不同的蒸餾技術，例如漸進式蒸餾 (PD)、潛變量一致性蒸餾 (LCM) 和分佈匹配蒸餾 (DMD2)。"

핵심 통찰 요약

DDIL: Improved Diffusion Distillation With Imitation Learning

by Risheek Garr... 게시일 arxiv.org 10-17-2024

https://arxiv.org/pdf/2410.11971.pdf

더 깊은 질문

DDIL 如何應用於其他類型的擴散模型，例如基於像素的擴散模型或潛在擴散模型？

DDIL 的核心概念是改善訓練分佈，以解決協變量偏移問題並保留邊緣數據分佈。這個概念可以應用於各種擴散模型，而不僅限於文中提到的基於 latent 的文本到圖像模型。
基於像素的擴散模型:

調整訓練數據採樣： DDIL 可以通過調整從前向擴散過程、教師模型和學生模型生成的軌跡中採樣訓練數據的比例來應用。
修改損失函數： 基於像素的模型通常使用像素級的損失函數，例如 L1 或 L2 損失。DDIL 可以通過在損失函數中添加額外的項來鼓勵學生模型匹配教師模型的預測分佈，從而適應這些模型。
潛在擴散模型:

潛在空間中的 DDIL： DDIL 可以直接應用於潛在空間，通過從教師和學生模型的潛在軌跡中採樣數據。
多級蒸餾： 可以將 DDIL 與多級蒸餾方法相結合，在不同的抽象級別上匹配教師和學生模型的分佈。
總之，DDIL 的核心思想可以應用於各種擴散模型架構。關鍵在於根據特定模型和任務調整訓練數據採樣策略和損失函數。

是否可以開發無需教師模型即可解決協變量偏移問題的擴散模型蒸餾方法？

開發無需教師模型即可解決協變量偏移問題的擴散模型蒸餾方法是一個很有前景的研究方向。以下是一些可能的方向：

自蒸餾： 可以利用自蒸餾技術，讓學生模型在訓練過程中充當自己的教師。這可以通过在不同的訓練階段或使用不同的超參數設置來實現。
基於動量的更新： 可以使用基於動量的更新規則來更新學生模型，這有助於減少訓練過程中輸入分佈的變化。
循環一致性： 可以強制執行循環一致性，確保學生模型在不同時間步的預測相互一致，從而減少誤差累積和協變量偏移。
數據增強： 可以應用數據增強技術來增加訓練數據的多樣性，從而使學生模型更魯棒，更不容易受到協變量偏移的影響。
儘管這些方法顯示出潛力，但無需教師模型的蒸餾方法在保持生成质量方面仍然面臨挑戰。探索新的方法來解決這個問題對於擴散模型的發展至關重要。

除了提高生成模型的效率外，DDIL 還可以用於哪些其他應用，例如模型壓縮或知識蒸餾？

除了提高生成模型的效率外，DDIL 的核心概念，即通過改善訓練分佈來解決協變量偏移問題，還可以應用於其他領域，例如模型壓縮和知識蒸餾。
模型壓縮：

壓縮大型擴散模型： DDIL 可以用於將大型、複雜的擴散模型壓縮成更小、更高效的模型，同時保留原始模型的生成能力。
移動設備上的部署： 壓縮後的模型可以用於在資源受限的設備（如移動設備）上部署擴散模型，實現更快的生成速度和更低的功耗。
知識蒸餾：

將知識從擴散模型轉移到其他生成模型： DDIL 可以用於將從擴散模型學到的知識轉移到其他類型的生成模型，例如 GAN 或 VAE。
提高其他生成模型的效率和多樣性： 通過 DDIL 進行知識蒸餾可以提高其他生成模型的效率和生成樣本的多樣性。
總之，DDIL 的核心概念具有廣泛的適用性，可以應用於各種生成模型和任務，以提高效率、壓縮模型大小和促進知識轉移。