Основні поняття
WonderJourneyは、テキストや画像から始まり、多様で整合性のある3Dシーンの連続を生成する。
Анотація
WonderJourneyは、テキストや画像から始まり、多様で整合性のある3Dシーンの連続を生成するフレームワークです。
- 大言語モデル(LLM)を使ってシーンの説明文を生成し、
- テキストに基づいた視覚的なシーン生成モジュールを使って、整合性のある3Dポイントクラウドを生成します。
- さらに、ビジョン言語モデル(VLM)を使って生成されたシーンを検証し、望ましくない効果がある場合は再生成します。
- これにより、多様な「ワンダーランド」のような視覚的な世界を生成することができます。
- 提案手法は、シーンの意味理解、視覚的理解、幾何学的理解の各モジュールから構成されており、最新の言語・ビジョンモデルを柔軟に組み込むことができます。
- ユーザースタディの結果、提案手法は既存手法に比べて、生成シーンの多様性、視覚品質、複雑さ、面白さの全ての点で優れていることが示されました。
Статистика
「多様で整合性のある3Dシーンの連続を生成する」
「テキストや画像から始まる」
「大言語モデル(LLM)、テキストに基づいた視覚的なシーン生成モジュール、ビジョン言語モデル(VLM)から構成される」
「ユーザースタディの結果、既存手法に比べて優れている」
Цитати
「アリスの不思議の国の冒険」のように、ユーザーが自身の冒険を体験できる視覚的な世界を生成することを目指す。
既存の永続的な視覚生成手法は単一のドメインに限定されているが、WonderJourneyは任意の入力から多様な3Dシーンを生成できる。