本論文では、SyncDreamerと呼ばれる新しい拡散モデルを提案している。SyncDreamerは、単一視点の入力画像から多視点整合的な画像を生成することができる。
従来の手法では、単一視点の入力画像から新しい視点の画像を生成することはできたが、生成された画像の幾何学的・色彩的な整合性を維持することが難しかった。SyncDreamerでは、同期化された多視点拡散モデルを用いることで、この問題を解決している。
具体的には、N個の目標視点に対して、N個の共有ノイズ予測器を構築する。逆拡散プロセスでは、N個の画像を同時に生成するが、各ノイズ予測器の間で注意機構を用いて情報を共有することで、多視点の整合性を維持する。
実験の結果、SyncDreamerは従来手法と比べて、より整合性の高い画像を生成でき、さらに3D再構築の精度も向上することが示された。また、写実的な画像だけでなく、スケッチやカートゥーンなどの2Dデザインからも整合的な3D形状を生成できることが確認された。
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Yuan Liu,Che... a las arxiv.org 04-16-2024
https://arxiv.org/pdf/2309.03453.pdfConsultas más profundas