核心概念
3Dメッシュ上のテクスチャ編集における生成ポイントベースの手法を提案する。
要約
最近、3Dテクスチャメッシュの生成においてAIが注目を集めている。既存の方法は、2D画像でドラッグ操作を行うことが可能だが、3Dメッシュテクスチャに直接適用すると問題が生じる。これらの課題を解決するために、DragTexと呼ばれる新しい手法を提案している。この手法は、ローカルな一貫性を保ちつつ、3Dメッシュ上でドラッグ操作を実現する。複数ビュー画像を使用してLoRAモデルを事前トレーニングし、効率的な編集プロセスを実現している。実験結果は、提案手法が効果的であることを示している。
統計
DragDiffusionでは50ステップの設定でDDIMとフュージョンに35ステップかかります。
LoRAトレーニングではランク16と学習率2×10^-4が使用されました。
シングルビュートレーニングではトレーニングステップ数は200です。
マルチビュートレーニングでは均等に分布した10枚の画像から成るトレーニングセットが使用されました。
引用
"Creating 3D textured meshes using generative artificial intelligence has garnered significant attention recently."
"While existing methods support text-based generative texture generation or editing on 3D meshes, they often struggle to precisely control pixels of texture images through more intuitive interaction."
"To address these challenges, we propose a generative point-based 3D mesh texture editing method called DragTex."