Core Concepts
이벤트 카메라와 SPAD 센서의 상호보완적인 특성을 활용하여 저조도 고속 이미징을 달성하고 대역폭을 크게 줄일 수 있다.
Abstract
이 논문은 고속 이미징과 저조도 이미징의 문제를 해결하기 위해 이벤트 카메라와 SPAD 센서를 결합하는 새로운 접근법을 제안한다.
전통적인 카메라는 저조도 환경에서 노출 시간을 늘리면 모션 블러가 발생하고, 노출 시간을 줄이면 포아송 잡음이 증가하는 문제가 있다. 이를 해결하기 위해 버스트 촬영 기술이 제안되었지만, 카메라 센서의 고유한 잡음 특성으로 인해 한계가 있다.
이벤트 카메라와 SPAD 센서는 이러한 문제를 해결할 수 있는 유망한 대안으로 부상했다. SPAD 센서는 단일 광자 감도와 마이크로초 단위의 시간 분해능을 가지고 있고, 이벤트 카메라는 1MHz 속도로 휘도 변화를 측정할 수 있으며 낮은 대역폭을 요구한다.
이 논문에서는 이벤트 카메라와 SPAD 센서의 이러한 상호보완적인 특성을 활용하여 저조도 고속 이미지 복원을 달성하고 대역폭 요구사항을 크게 줄이는 센서 융합 프레임워크를 제안한다.
제안 방법은 다음 3가지 핵심 구성요소로 이루어진다:
SPAD 프레임 디블러링을 위한 비선형 이벤트 기반 방법 (NEDI)
비동기 칼만 필터를 이용한 이벤트와 SPAD 프레임의 융합
불확실성 기반 적응형 SPAD 프레임 샘플링
실험 결과, 제안 방법은 기존 방법 대비 5dB 이상의 PSNR 향상을 보이며, 1000배 낮은 대역폭을 달성할 수 있음을 보였다. 이는 로봇공학이나 의료 영상 등 다양한 실제 응용 분야에 적용될 수 있음을 시사한다.
Stats
제안 방법은 기존 방법 대비 5dB 이상의 PSNR 향상을 달성했다.
제안 방법은 SPAD 전용 방법 대비 1000배 낮은 대역폭을 달성했다.
Quotes
"전통적인 카메라는 저조도 성능과 고속 이미징 간의 trade-off에 직면한다: 충분한 광량을 포착하기 위해 노출 시간을 늘리면 모션 블러가 발생하고, 노출 시간을 줄이면 포아송 잡음이 증가한다."
"이벤트 카메라와 SPAD 센서는 전통적인 카메라의 이러한 한계를 극복할 수 있는 유망한 대안으로 부상했다."