
本文提出了一種名為物理訊息蒸餾（PID）的新型擴散模型蒸餾技術，該技術受物理訊息神經網路（PINN）啟發，能夠訓練出僅需單一步驟即可生成圖像的學生模型，並在不需生成合成數據或精細調整特定超參數的情況下，實現與大多數現有技術相當的效能。


coremsg

基於物理訊息蒸餾的擴散模型

title_rewrite


DDIL 透過結合資料分佈和學生模型預測分佈來改進訓練分佈，從而解決了多步蒸餾擴散模型中的協變量偏移問題，在保持生成多樣性的同時提高了效率。


ddil-透過模仿學習改進擴散蒸餾技術


DDIL：透過模仿學習改進擴散蒸餾技術



分佈回溯蒸餾(DisBack)通過引入教師模型的整個收斂軌跡來加速和提高擴散模型的蒸餾效果。DisBack包括兩個階段:退化記錄和分佈回溯。退化記錄階段獲得從教師模型到初始學生生成器的退化路徑,並將其視為教師模型的收斂軌跡。分佈回溯階段則沿著收斂軌跡逐步蒸餾學生生成器,以更快更好地收斂到教師模型的分佈。


分佈回溯構建更快收斂軌跡的擴散蒸餾