Conceitos Básicos
명시적 NeRF 모델의 압축 연구를 위해 다양한 기하학, 텍스처 및 재질 복잡성을 가진 3D 객체를 사용하여 Explicit-NeRF-QA 데이터셋을 구축하였다. 이를 통해 NeRF 모델의 고유한 왜곡 유형을 체계적으로 정의하고, 기존 객관적 화질 평가 지표의 성능을 평가하였다.
Resumo
Explicit-NeRF-QA 데이터셋은 다음과 같이 구축되었다:
22개의 다양한 3D 객체를 선정하여 소스 콘텐츠로 사용하였다. 이 중 14개는 새로 선정한 고품질 3D 장면으로, 재질 유형(반사광, 확산광, 광택)을 고려하여 다양성을 확보하였다.
각 3D 객체에 대해 4가지 대표적인 명시적 NeRF 모델(InstantNGP, DVGO, Plenoxels, TensoRF)을 사용하여 5단계의 압축 수준으로 NeRF 모델을 생성하였다.
생성된 NeRF 모델을 처리된 비디오 시퀀스(PVS)로 렌더링하고, 21명의 참가자를 대상으로 주관적 실험을 수행하여 평균 의견 점수(MOS)를 수집하였다.
데이터셋 분석 결과, NeRF 모델은 기존 2D 이미지와는 구별되는 고유한 왜곡 유형(투명도, 부유, 파동, 안개, 표면 산란, 물결, 구조 누락, 평면 절단, 기하학적 균열)을 가지고 있음을 확인하였다. 또한 반사광 재질이 NeRF 생성 및 압축에 가장 큰 어려움을 야기하는 것으로 나타났다.
객관적 화질 평가 지표 테스트 결과, 전체 참조 지표의 경우 약 0.85의 상관관계를 보였지만, 무참조 지표는 0.4-0.6 수준의 낮은 성능을 보여 NeRF 모델에 대한 더 강력한 무참조 지표 개발이 필요함을 시사한다.
Estatísticas
NeRF 모델의 크기가 증가할수록 반사광 재질 객체의 MOS 점수 향상이 제한적인 반면, 확산광 재질 객체는 점진적으로 높은 점수에 도달한다.
반사광 재질 객체의 경우 최적 NeRF 모델 설정에서도 MOS 점수가 5-7 수준에 머무르는 것으로 나타났다.
Citações
"NeRF 모델은 기존 2D 이미지와는 구별되는 고유한 왜곡 유형을 가지고 있다."
"반사광 재질이 NeRF 생성 및 압축에 가장 큰 어려움을 야기한다."
"현재 NeRF 모델은 반사광 재질 객체를 합성하는 데 여전히 한계가 있다."