核心概念
深層生成モデルを自己生成データで反復学習する際、初期モデルが十分に良好であり、かつ元のデータの割合が十分に大きければ、反復学習は安定的に行えることを示す。
要約
本論文では、深層生成モデルを自己生成データで反復学習する際の安定性について理論的・実験的に検討している。
まず、理論的には以下の点を示している:
- 初期の深層生成モデルが十分に良好であり、かつ元のデータの割合が十分に大きければ、反復学習は安定的に行えることを証明した(定理1、2)。
- 一方で、自己生成データのみを用いて反復学習すると、モデルが崩壊することを示した(命題1)。
次に、実験的には以下の点を示している:
- 合成データと元のデータの割合を変えて、CIFAR-10やFFHQ-64などのデータセットでEDMやOTCFMといった深層生成モデルの反復学習を行った。
- 元のデータの割合が十分に大きければ、モデルは安定的に学習できることを確認した。一方で、自己生成データの割合が大きすぎると、モデルが発散することを示した。
以上より、深層生成モデルの反復学習を安定的に行うには、初期モデルの精度が高く、かつ元のデータの割合が十分に大きいことが重要であることが示された。
統計
深層生成モデルを自己生成データのみで反復学習すると、モデルのパラメータの共分散行列が線形に0に収束する。
一方、元のデータと自己生成データを混ぜて反復学習すると、モデルのパラメータは最適な生成モデルの近傍に留まる。
引用
"深層生成モデルを自己生成データのみで反復学習すると、モデルが崩壊する。"
"初期の深層生成モデルが十分に良好であり、かつ元のデータの割合が十分に大きければ、反復学習は安定的に行えることを証明した。"