EgoLifter는 실생활 데이터에서 발생하는 수백 개의 물체와 동적 움직임 등의 어려움을 해결하기 위해 개발되었습니다. 3D 가우시안을 기반으로 장면을 표현하고, Segment Anything Model (SAM)의 약한 감독을 활용하여 특정 물체 분류 체계에 구애받지 않는 유연한 물체 인스턴스 정의를 학습합니다. 또한 동적 물체를 필터링하는 일시적 예측 모듈을 설계하여 정적 배경에 대한 정확한 3D 재구성을 달성합니다. 그 결과 EgoLifter는 전체 장면을 3D 가우시안 집합으로 재구성하고 개별 물체 인스턴스를 분할할 수 있는 완전 자동화된 파이프라인을 제공합니다. Aria Digital Twin 데이터셋에서 정량적 평가를 수행한 결과, EgoLifter가 실생활 몰입형 입력에 대한 최첨단 오픈 월드 3D 분할 성능을 보여줍니다. 또한 다양한 몰입형 활동 데이터셋에서 실행한 결과, EgoLifter가 대규모 3D 몰입형 인식에 큰 잠재력을 가지고 있음을 보여줍니다.
To Another Language
from source content
arxiv.org
Ключові висновки, отримані з
by Qiao Gu,Zhao... о arxiv.org 03-28-2024
https://arxiv.org/pdf/2403.18118.pdfГлибші Запити