DGL-GAN: Discriminator Guided GAN Compression

核心概念

教師ディスクリミネーターを活用した効果的なGAN圧縮手法の提案

摘要

このコンテンツは、高解像度画像を生成するために使用される大規模なGAN（Generative Adversarial Networks）を圧縮する新しい手法であるDGL-GANに焦点を当てています。教師ディスクリミネーターからの知識転送を通じて学生ジェネレーターを支援する方法が提案され、StyleGAN2とBigGANの圧縮に成功しています。DGL-GANは、元の未圧縮のGANにも適用可能であり、優れたパフォーマンスを発揮します。

導入

• GANsは高解像度画像合成で注目されており、計算コスト削減が課題。
• DGL-GANは教師ディスクリミネーターから知識転送し、学生ジェネレーターをサポート。

データ抽出

• StyleGAN2とBigGANのFID結果：2.65（FFHQ）、9.92（ImageNet）
• DGL-GANのFID結果：2.97（FFHQ）、9.92（ImageNet）

結論

• DGL-GANは大規模なGANの圧縮に成功し、未圧縮のStyleGAN2でも優れたパフォーマンスを示す。

統計資料

GANsは高解像度画像合成で注目されており、計算コスト削減が課題。
DGL-GANは教師ディスクリミネーターから知識転送し、学生ジェネレーターをサポート。

引述

"Experiments show that DGL-GAN achieves state-of-the-art results on both StyleGAN2 and BigGAN."
"DGL-GAN is also effective in boosting the performance of original uncompressed GANs."

從以下內容提煉的關鍵洞見

DGL-GAN

by Yuesong Tian... 於 arxiv.org 03-26-2024

https://arxiv.org/pdf/2112.06502.pdf

深入探究

どうしてDGL-GANは未圧縮のStyleGAN2よりも優れたパフォーマンスを発揮するのか？

DGL-GANは未圧縮のStyleGAN2よりも優れたパフォーマンスを発揮する主な理由は、教師ディスクリミネーターDから提供される追加の監督信号にあります。通常、教師モデルと生徒モデルが同一アーキテクチャとパラメータサイズを共有する場合、教師モデルは生徒モデルにより良い汎化能力を提供します。このケースでは、DGL-GANでは教師ディスクリミネーターDが生成器Gに異なる視点から監督信号を提供し、これがGにとって有益であることが示唆されています。