Core Concepts
본 논문은 자기지도 학습 프레임워크에서 정확하고 회전 불변적인 3D 포인트 세트 특징을 추출하는 새로운 알고리즘을 제안한다. 제안하는 DNN 아키텍처인 RIPT는 입력 3D 포인트 세트를 회전 정규화된 다수의 토큰으로 분해하고, 이를 자기 주의 메커니즘으로 정제 및 통합하여 회전 불변 객체 수준 특징을 생성한다. 또한 제안하는 자기 증류 기반 자기지도 학습 알고리즘 SDMM은 다중 자르기와 혼합 데이터 증강 기법을 활용하여 다양한 3D 포인트 세트를 생성하고, 이를 통해 RIPT를 효과적으로 학습한다.
Abstract
본 논문은 회전 불변 3D 포인트 세트 특징 추출을 위한 새로운 DNN 아키텍처와 자기지도 학습 알고리즘을 제안한다.
RIPT 아키텍처:
- 입력 3D 포인트 세트를 회전 정규화된 다수의 토큰으로 분해하는 RI-Tokenizer 모듈
- 토큰 간 관계와 채널 간 관계를 고려하는 벡터 자기 주의 메커니즘으로 토큰을 정제하고 통합하는 TS-Transformer 모듈
- 효율적인 특징 추출을 위해 토큰 수를 점진적으로 감소시키는 설계
SDMM 자기지도 학습 알고리즘:
- 다중 자르기와 혼합 데이터 증강 기법을 통해 다양한 3D 포인트 세트 생성
- 교사-학생 네트워크 구조에서 교사 네트워크가 생성한 의사 레이블을 학생 네트워크의 손실 함수로 활용
- 회전 불변성과 높은 특징 정확도를 달성
실험 결과, RIPT와 SDMM은 기존 회전 불변 3D 포인트 세트 DNN 대비 더 정확한 특징을 학습할 수 있으며, 학습 효율성 또한 높은 것으로 나타났다.
Stats
3D 포인트 세트는 1,024개의 3D 좌표와 방향 벡터로 구성됨
다양한 3D 포인트 세트 데이터셋 활용: ModelNet10, ModelNet40, ScanObjectNN 등