本論文では、既存の条件付き画像生成手法が入力条件との整合性に課題があることを明らかにしている。これに対して、ControlNet++は以下の取り組みを行う:
事前学習された識別報酬モデルを使用して、生成された画像と入力条件の一貫性を明示的に最適化する。これにより、より正確な条件付き画像生成を実現する。
入力画像に雑音を加えて一貫性を破壊し、単一ステップの除雑音画像を使用して効率的に報酬微調整を行う。これにより、多数のサンプリングステップに伴うメモリ使用量と計算コストを大幅に削減する。
様々な条件(セグメンテーションマスク、エッジマップ、深度マップ)で実験を行い、ControlNet++が既存手法と比べて大幅な制御性の向上を示す。また、画質の低下も抑えられることを確認している。
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Ming Li,Taoj... ב- arxiv.org 04-12-2024
https://arxiv.org/pdf/2404.07987.pdfשאלות מעמיקות