Core Concepts
연합 학습 파이프라인을 통해 대규모 장면을 효율적으로 모델링할 수 있다.
Abstract
이 논문은 대규모 장면 모델링을 위한 연합 학습 파이프라인을 제안한다. 기존의 대규모 장면 모델링 방법은 데이터를 중앙 서버에 모아야 하고, 많은 계산 자원이 필요하며, 모델 업데이트가 어려운 문제가 있다. 이를 해결하기 위해 연합 학습 기반 접근법을 제안한다.
제안하는 파이프라인은 다음과 같다:
클라이언트에서 로컬 모델 학습
중앙 서버에서 글로벌 포즈 정렬
비동기 방식의 모델 병합
로컬 모델의 출력을 3D 볼륨 그리드에 캐싱하고, 이를 기반으로 글로벌 모델을 업데이트한다. 또한 클라이언트의 노isy한 글로벌 포즈를 정렬하는 방법을 제안한다.
실험 결과, 제안 방법이 기존 대규모 장면 모델링 방법보다 훈련 시간과 통신 비용을 크게 줄일 수 있음을 보였다. 다만 렌더링 품질은 약간 떨어지는데, 이는 클라이언트의 데이터가 제한적이기 때문이다. 향후 연구에서는 이 문제를 해결하고 동적 객체와 조명 변화 등을 고려할 계획이다.
Stats
제안 방법은 기존 대규모 장면 모델링 방법보다 훈련 시간을 크게 단축할 수 있다.
제안 방법은 기존 방법보다 통신 비용을 크게 줄일 수 있다.
제안 방법의 렌더링 속도는 기존 방법보다 약 5배 빠르다.
Quotes
"연합 학습(Federated Learning)은 데이터를 중앙 서버에 모으지 않고도 협력적으로 모델을 학습할 수 있는 프로토콜이다."
"제안하는 파이프라인은 로컬 모델의 출력을 3D 볼륨 그리드에 캐싱하고, 이를 기반으로 글로벌 모델을 업데이트한다."
"클라이언트의 노이즈가 있는 글로벌 포즈를 정렬하는 방법을 제안한다."