본 연구에서는 이벤트 카메라와 하드웨어-소프트웨어 공동 설계 기법을 활용하여 실시간 저지연 및 고정밀 눈 추적 시스템을 개발하였다.
먼저, 이벤트 카메라의 고속 및 희소 특성을 활용하기 위해 서브매니폴드 희소 합성곱 신경망(SCNN)을 백본으로 사용하였다. SCNN 모델은 FPGA 기반 희소 데이터 플로우 가속기에 구현되어 효율적으로 동작한다. 이후 추출된 특징 벡터는 호스트 CPU의 GRU와 완전 연결 계층을 통해 눈 중심 좌표를 예측한다.
제안한 시스템은 Event-based Eye-Tracking-AIS2024 데이터셋에서 81% p5 정확도, 99.5% p10 정확도, 3.71 픽셀의 평균 유클리드 거리를 달성하면서도 0.7 ms의 지연 시간과 2.29 mJ의 낮은 전력 소모를 보였다. 이는 기존 임베디드 GPU 대비 최대 77.1배 빠른 성능을 보인다.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문