Core Concepts
CharacterFactoryは、GANsを用いて一貫性のある新しいキャラクターを効率的に生成することができる。
Abstract
本研究では、CharacterFactoryと呼ばれる新しい枠組みを提案している。CharacterFactoryは、GANsを用いて一貫性のある新しいキャラクターを生成することができる。具体的には以下のような特徴がある:
セレブ名の単語埋め込みを真の値として扱い、GANモデルを用いてこの埋め込み空間への写像を学習する。これにより、一貫性のある新しいキャラクターを生成できる。
コンテキスト一貫性損失を導入し、生成された擬似的なキャラクター埋め込みがさまざまなコンテキストで一貫性を持つようにする。これにより、生成されたキャラクターがCLIPのテキストエンコーダと自然に統合できるようになる。
提案手法は10分間の学習で済み、推論時には無限の新しいキャラクターを生成できる。
広範な実験により、提案手法が一貫性、編集可能性、信頼性の高い多様性、画質の面で優れた性能を示すことが確認された。さらに、提案手法は画像、動画、3Dモデルの生成に対して柔軟に統合できることが示された。
Stats
提案手法は10分間の学習で済む
推論時には3秒で新しいキャラクターを生成できる