本論文では、PI3Dと呼ばれる新しい手法を提案している。PI3Dは、事前学習された2Dテキスト-画像ディフュージョンモデルの知識を活用し、限られた3Dデータから高品質で整合性の取れた3Dオブジェクトを短時間で生成することができる。
具体的には以下の3つのステップから成る:
3Dオブジェクトをトライプレーン表現に変換し、2Dレンダリング結果との整合性を保つようにフィッティングする。
事前学習された2Dテキスト-画像ディフュージョンモデルを微調整し、トライプレーン表現を生成するモデルを構築する。この際、2Dデータも併せて利用することで、複雑な概念に対する生成能力を向上させる。
生成された3Dオブジェクトを初期値として、2Dディフュージョンモデルによる軽量な最適化を行い、さらに品質を向上させる。
この手法により、3分以内に高品質な3Dオブジェクトをテキストから生成することが可能となる。従来手法と比較して、生成品質、3D整合性、生成速度の全てにおいて優れた性能を示している。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Ying-Tian Li... at arxiv.org 04-23-2024
https://arxiv.org/pdf/2312.09069.pdfDeeper Inquiries