이 논문은 BioNeRF라는 생물학적으로 타당한 아키텍처를 제안한다. BioNeRF는 장면을 3차원 표현으로 모델링하고 방사 필드를 통해 새로운 뷰를 합성한다. NeRF는 네트워크 가중치를 사용하여 장면의 3차원 표현을 저장하지만, BioNeRF는 인지 영감을 받은 메커니즘을 구현하여 다중 소스의 입력을 메모리 구조에 융합함으로써 저장 용량을 높이고 더 내재적이고 상관된 정보를 추출한다. BioNeRF는 또한 피라미드 세포에서 관찰되는 문맥 정보에 대한 동작을 모방하여, 메모리를 문맥으로 제공하고 두 개의 후속 신경 모델, 즉 체적 밀도 생성 모델과 장면 렌더링에 사용되는 색상 모델과 결합한다. 실험 결과, BioNeRF는 실제 이미지와 합성 데이터 두 데이터셋에서 인간 지각을 인코딩하는 품질 척도에 대해 최신 기술을 능가하는 성능을 보였다.
To Another Language
from source content
arxiv.org
Дополнительные вопросы