Core Concepts
MASSTAR는 다양한 모달리티의 대규모 3D 장면 데이터셋과 표면 예측 및 완성을 위한 다목적 도구 체인을 제공한다. 이를 통해 복잡한 실세계 환경에서 고품질의 3D 모델을 효율적으로 추출하고 다양한 부가 정보를 생성할 수 있다.
Abstract
MASSTAR는 다음과 같은 특징을 가진다:
다양한 실세계 및 합성 환경에서 고품질의 3D 장면 모델을 효율적으로 추출하기 위한 다목적 도구 체인을 개발했다. 이 도구 체인은 3D 장면 분할, 이미지 렌더링, 텍스트 생성, 부분 포인트 클라우드 생성 등의 기능을 제공한다.
도구 체인을 활용하여 1,000개 이상의 3D 장면 모델과 다양한 모달리티 데이터(이미지, 텍스트, 포인트 클라우드 등)로 구성된 대규모 데이터셋을 구축했다. 이 데이터셋은 기존 데이터셋에 비해 장면 수준의 모델과 실세계 데이터를 더 많이 포함하고 있다.
구축된 MASSTAR 데이터셋을 활용하여 대표적인 표면 예측 및 완성 알고리즘을 벤치마크했다. 결과는 기존 알고리즘이 대규모 장면 데이터에 대해 어려움을 겪는다는 것을 보여준다.
도구 체인과 예제 데이터셋을 공개할 예정이다.
Stats
대규모 장면 데이터셋 MASSTAR에는 1,027개의 3D 모델이 포함되어 있다.
각 모델에 대해 15개의 부분 포인트 클라우드, 15개의 RGB 이미지, 15개의 깊이 이미지가 생성되었다.
Quotes
"기존 데이터셋은 소규모 객체 위주이며 다양한 모달리티 정보가 부족하다. 따라서 대규모 장면 데이터와 효율적인 데이터 생성 방법이 필요하다."
"MASSTAR는 다양한 실세계 및 합성 환경에서 고품질의 3D 장면 모델을 효율적으로 추출하고 다양한 모달리티 데이터를 생성할 수 있는 다목적 도구 체인을 제공한다."