핵심 개념
본 논문에서는 희소 학습 이미지를 사용한 새로운 시점 합성에서 3D 가우시안 스플래팅(3DGS)의 과적합 문제를 해결하기 위해 자기 앙상블 가우시안 스플래팅(SE-GS) 접근 방식을 제안합니다.
초록
적은 수의 이미지로 새로운 시점 합성을 위한 자기 앙상블 가우시안 스플래팅
본 연구는 적은 수의 이미지만으로 사실적인 새로운 시점을 합성하는 데 어려움을 겪는 3D 가우시안 스플래팅(3DGS) 모델의 과적합 문제를 해결하고자 합니다.
본 논문에서는 자기 앙상블 기법을 활용한 새로운 3DGS 접근 방식인 SE-GS를 제안합니다. SE-GS는 Σ-모델과 ∆-모델이라는 두 가지 가우시안 스플래팅 모델을 사용합니다. ∆-모델은 학습 과정에서 불확실성 기반 섭동 전략을 통해 다양한 시간적 샘플을 생성합니다. Σ-모델은 이러한 샘플들과의 불일치를 최소화하도록 학습되어 앙상블 효과를 얻습니다.
구체적으로, ∆-모델은 학습 데이터를 기반으로 가우시안 매개변수 공간에서 특정 샘플을 나타냅니다. 학습 과정에서 ∆-모델은 렌더링된 이미지의 불확실성을 기반으로 섭동되어 다양한 시간적 샘플을 생성합니다. 즉, 불확실성이 높은 픽셀과 관련된 ∆-모델의 가우시안 매개변수에 무작위 노이즈를 추가하여 섭동합니다. Σ-모델은 섭동 없이 학습되며, 섭동된 ∆-모델과의 불일치를 최소화하는 정규화 항을 통해 학습됩니다. 이를 통해 Σ-모델은 다양한 샘플로부터 정보를 집계하여 앙상블 모델로서의 역할을 수행합니다.