核心概念
3DStyleGLIPは、3Dメッシュの個別の部分にテキストで指定したスタイルを適用する新しい手法である。GLIPの視覚言語埋め込み空間を活用し、部位の特定とスタイル適用を統合的に行うことで、安定した部分別スタイル化を実現する。
要約
3DStyleGLIPは、3Dオブジェクトのスタイル化を行う新しい手法である。従来のスタイル化手法は全体的なスタイル適用に限定されていたが、3DStyleGLIPは個別の部位にテキストで指定したスタイルを適用することができる。
具体的には以下の通り:
3Dメッシュと文章プロンプトを入力として受け取る
GLIPの視覚言語埋め込み空間を活用して、メッシュの個別の部位を特定する
特定した部位の色や形状を、文章プロンプトで指定したスタイルに合わせて変更する
部位の特定とスタイル適用を統合的に行うことで、安定した部分別スタイル化を実現する
補助的な学習手法として、テキストプロンプトと多視点fine-tuning、および交互学習を導入している
これにより、従来手法では困難だった部分別のきめ細かなスタイル化が可能となり、3Dコンテンツ制作の幅が大きく広がる。
統計
3Dメッシュは平均34,551頂点で構成され、2~6個の意味的部位を含む
部位の大きさは小さいものから大きいものまで様々で、複雑さも幅広い