Keskeiset käsitteet
본 연구는 비전-텍스트 참조를 통해 대규모 도시 장면의 텍스처를 자동으로 스타일화하는 새로운 프레임워크 StyleCity를 제안한다. 이를 통해 복잡한 재질 및 조명 설정 없이도 가상 제작 프로토타입을 신속하게 생성할 수 있다.
Tiivistelmä
본 연구는 대규모 도시 장면의 텍스처를 자동으로 스타일화하는 StyleCity 프레임워크를 제안한다. 이 프레임워크는 이미지와 텍스트 참조를 입력으로 받아 3D 텍스처 메시를 의미론적으로 인식하면서 스타일화하고, 조화로운 전방위 스카이 배경을 생성한다.
이를 위해 다음과 같은 핵심 기술을 개발했다:
- 신경망 텍스처 필드를 사용하여 대규모 장면의 외관을 모델링하고, 다중 스케일 점진적 최적화 전략을 통해 고품질 스타일화를 달성한다.
- 스케일 적응형 스타일 최적화와 의미론적 스타일 손실 함수를 도입하여 전역적 및 지역적 스타일 일관성을 유지한다.
- 확산 모델을 활용하여 스타일 일치 전방위 스카이 이미지를 합성하여 장면의 몰입감을 높인다.
실험 결과, 제안 방법은 기존 방법 대비 우수한 정량적, 정성적 성능을 보였으며, 사용자 선호도 또한 높았다. 이를 통해 가상 제작 프로토타이핑 등 다양한 응용 분야에 활용될 수 있을 것으로 기대된다.
Tilastot
대규모 도시 장면의 텍스처 크기는 메가픽셀 또는 기가픽셀 수준이다.
제안 방법은 평균 90%의 텍스처 크기 압축을 달성했다.
제안 방법은 5개 도시 모델과 7개 스타일에 대해 35개의 스타일화된 출력을 생성했다.
Lainaukset
"제안 방법은 로고, 창문 등의 세부 패턴을 높은 충실도로 복원하여 기존 방법 대비 우수한 성능을 보였다."
"의미론적 스타일 손실 함수를 통해 지역적 스타일 일관성을 유지하는 것이 사실적 스타일화에 매우 중요했다."
"스케일 적응형 스타일 최적화는 다양한 스케일의 스타일 참조를 효과적으로 활용하여 강건한 스타일화를 가능하게 했다."