무한대 규모의 3D 도시를 생성하는 구성적 생성 모델: CityDreamer

Conceitos essenciais

CityDreamer는 건물 인스턴스와 배경 요소를 분리하여 생성함으로써 도시 환경의 다양성을 효과적으로 처리할 수 있는 구성적 생성 모델이다.

Resumo

이 논문에서는 CityDreamer라는 구성적 생성 모델을 제안한다. CityDreamer는 3D 도시 생성을 위해 특별히 설계되었으며, 건물 인스턴스와 배경 요소(도로, 녹지, 수역 등)를 분리하여 생성한다.

먼저 무한대 규모의 도시 레이아웃을 생성하는 레이아웃 생성기를 통해 도시의 구조를 만든다. 이후 배경 생성기와 건물 인스턴스 생성기를 통해 각각 배경과 건물을 생성한다. 배경 생성기는 일반적인 배경 요소의 유사한 외관을 잘 표현하기 위해 생성 해시 그리드를 사용하고, 건물 인스턴스 생성기는 건물 외관의 주기적 패턴을 잘 학습하기 위해 주기적 위치 인코딩을 사용한다. 마지막으로 합성기를 통해 생성된 배경과 건물 인스턴스를 합성하여 최종 이미지를 생성한다.

또한 이 논문에서는 실제 세계의 도시 레이아웃과 외관을 포함하는 CityGen 데이터셋을 구축하였다. OSM 데이터셋은 80개 도시의 의미론적 지도와 높이 필드를 제공하고, GoogleEarth 데이터셋은 뉴욕시의 400개 궤도 이미지와 의미론적 및 인스턴스 분할 주석을 제공한다.

실험 결과, CityDreamer는 기존 방법들에 비해 더 사실적이고 다양한 3D 도시를 생성할 수 있으며, 3D 기하학과 다중 뷰 일관성 측면에서도 우수한 성능을 보인다.

Estatísticas

이 연구에서 제안한 CityDreamer는 기존 방법들에 비해 FID 지표에서 97.38로 크게 개선된 성능을 보였다.
CityDreamer는 깊이 오차(DE) 지표에서 0.147로 가장 낮은 오차를 보여 3D 기하학을 잘 유지하고 있다.
카메라 오차(CE) 지표에서도 0.060으로 가장 낮은 값을 기록하여 다중 뷰 일관성이 우수함을 보였다.

Citações

"CityDreamer는 건물 인스턴스와 배경 요소를 분리하여 생성함으로써 도시 환경의 다양성을 효과적으로 처리할 수 있는 구성적 생성 모델이다."
"CityDreamer는 기존 방법들에 비해 더 사실적이고 다양한 3D 도시를 생성할 수 있으며, 3D 기하학과 다중 뷰 일관성 측면에서도 우수한 성능을 보인다."

Principais Insights Extraídos De

CityDreamer

by Haozhe Xie,Z... às arxiv.org 04-02-2024

https://arxiv.org/pdf/2309.00610.pdf

Perguntas Mais Profundas

도시 생성 모델의 활용 분야는 어떤 것들이 있을까?

도시 생성 모델은 게임 산업과 영화 제작과 같은 분야에서 효율적인 콘텐츠 생성에 큰 도움을 줄 수 있습니다. 컴퓨터 게임 및 영화 제작 분야에서 콘텐츠를 생성하는 데 큰 수요가 있기 때문에 이 분야에서 주목받을 것으로 예상됩니다.

건물 인스턴스 생성 과정에서 발생할 수 있는 비용 문제를 어떻게 해결할 수 있을까?

건물 인스턴스 생성 과정에서 발생할 수 있는 비용 문제를 해결하기 위해 추론 비용을 줄이는 방법을 탐구할 수 있습니다. 추론 비용을 줄이기 위해 모델의 복잡성을 줄이거나 효율적인 추론 알고리즘을 개발하는 등의 방법을 고려할 수 있습니다.

도시 생성 모델의 발전이 메타버스 구현에 어떤 영향을 미칠 수 있을까?

도시 생성 모델의 발전은 메타버스 구현에 긍정적인 영향을 미칠 수 있습니다. 더 현실적이고 다양한 3D 도시를 생성할 수 있게 되면 메타버스 환경을 더 다채롭게 구현할 수 있을 것입니다. 이는 메타버스 사용자들에게 더욱 몰입감 있는 경험을 제공할 수 있게 될 것으로 예상됩니다.