Centrala begrepp
신경형태 비전 센서의 비동기적이고 시간 밀집적인 특성을 활용하여 그래프 변환기 신경망을 통해 동적 장면에서 움직이는 객체와 배경을 효과적으로 분할할 수 있다.
Sammanfattning
이 논문은 신경형태 비전 센서를 활용한 동작 분할 알고리즘을 제안한다. 제안된 알고리즘은 그래프 변환기 신경망(GTNN)을 사용하여 이벤트 스트림을 3D 그래프로 처리하고 국부적/전역적 시공간 상관관계를 활용하여 움직이는 객체와 배경을 구분한다.
GTNN은 다음과 같은 특징을 가진다:
- 이벤트 스트림의 비동기적이고 시간 밀집적인 특성을 보존하여 처리
- 장면 및 카메라 동작에 대한 사전 지식이 필요 없음
- 이벤트 전처리나 초기화 과정이 필요 없음
제안된 알고리즘은 공개 데이터셋(EV-IMO, MOD, EV-IMO2)을 활용하여 학습되었으며, 다양한 실험 시나리오에서 기존 최신 기법들 대비 우수한 성능을 보였다.
추가로, 실험 데이터 수집 및 레이블링을 위한 DOMEL 프레임워크를 제안하였다. DOMEL은 이벤트 스트림과 프레임 기반 센서 데이터를 활용하여 동적 객체 마스크를 생성하고 이를 기반으로 이벤트를 전경/배경으로 자동 레이블링한다. 이를 통해 EMS-DOMEL 데이터셋을 구축하여 공개하였다.
Statistik
동적 객체 이벤트는 총 42,980개, 배경 이벤트는 440,650개였다.
동적 객체 이벤트는 총 52,176개, 배경 이벤트는 494,378개였다.
동적 객체 이벤트는 총 282,397개, 배경 이벤트는 640,531개였다.
Citat
"신경형태 비전 센서는 비동기적 특성, 높은 시간 해상도, 낮은 전력 소비 등의 장점으로 동작 인지에 적합하다."
"제안된 GTNN 알고리즘은 이벤트 스트림의 비동기적 특성을 보존하고 시공간 상관관계를 활용하여 동적 객체와 배경을 효과적으로 분할할 수 있다."
"DOMEL 프레임워크는 이벤트 스트림과 프레임 기반 센서 데이터를 활용하여 동적 객체 마스크를 생성하고 이를 기반으로 이벤트를 자동 레이블링한다."