מושגי ליבה
NeRF-Insert는 텍스트 프롬프트와 참조 이미지 등 다양한 제어 신호를 활용하여 NeRF 장면을 고품질로 국소 편집할 수 있는 유연한 프레임워크입니다.
תקציר
NeRF-Insert는 기존 NeRF 편집 방법의 한계를 극복하고자 제안된 프레임워크입니다. 이 방법은 장면의 전역적 구조를 유지하면서도 특정 3D 영역을 편집할 수 있습니다. 사용자는 텍스트 프롬프트, 참조 이미지, 수동으로 그린 마스크 또는 CAD 모델 등 다양한 제어 신호를 조합하여 편집 과정을 제어할 수 있습니다.
NeRF-Insert의 핵심 아이디어는 다음과 같습니다:
- 시각적 볼륨(visual hull)을 사용하여 편집 영역을 직관적으로 정의할 수 있습니다. 이를 통해 편집 영역을 장면의 기존 요소와 잘 통합할 수 있습니다.
- 텍스트 기반 확산 모델과 참조 이미지 기반 확산 모델을 활용하여 편집된 이미지를 생성합니다.
- 편집된 이미지를 NeRF 학습 데이터에 반복적으로 추가하여 3D 일관성 있는 편집 결과를 얻습니다.
- 편집 영역 외부의 NeRF 필드를 고정시키는 추가 손실 함수를 도입하여 편집 품질을 향상시킵니다.
실험 결과, NeRF-Insert는 기존 방법보다 편집 품질이 우수하고 원본 NeRF와의 일관성도 높습니다. 또한 사용자가 편집 과정을 유연하게 제어할 수 있다는 장점이 있습니다.
סטטיסטיקה
편집 영역 외부의 NeRF 필드를 고정시키는 추가 손실 함수를 사용하면 부유물 아티팩트를 제거하고 편집 영역의 품질을 향상시킬 수 있습니다.
참조 메시를 사용하면 편집 객체의 형상과 자세를 정밀하게 제어할 수 있습니다.
ציטוטים
"NeRF-Insert는 텍스트 프롬프트와 참조 이미지 등 다양한 제어 신호를 활용하여 NeRF 장면을 고품질로 국소 편집할 수 있는 유연한 프레임워크입니다."
"편집 영역 외부의 NeRF 필드를 고정시키는 추가 손실 함수를 사용하면 부유물 아티팩트를 제거하고 편집 영역의 품질을 향상시킬 수 있습니다."