본 연구에서는 이벤트 데이터를 활용한 눈 추적 기술을 제안한다. 먼저 30명의 자발적 참여자로부터 수집한 "Ini-30" 이벤트 기반 눈 추적 데이터셋을 소개한다. 이 데이터셋은 기존 데이터셋과 달리 참여자의 자유로운 움직임을 허용하고 눈동자 위치를 직접 레이블링하였다.
다음으로 "Retina"라는 스파이킹 신경망 기반 눈 추적 알고리즘을 제안한다. Retina는 통합 및 발화 뉴런 모델을 사용하며, 시간 합성 필터를 통해 연속적인 출력을 생성한다. Retina는 기존 최신 방법보다 20% 더 정확하면서도 계산 복잡도는 30배 낮다.
마지막으로 Retina를 신경형태 SoC인 Speck에 구현하여 전력 소모 2.89-4.8mW, 지연 시간 5.57-8.01ms의 우수한 성능을 달성하였다. 이를 통해 이벤트 데이터와 스파이킹 하드웨어를 활용한 저전력 고성능 눈 추적 시스템을 구현하였다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Pietro Bonaz... at arxiv.org 04-18-2024
https://arxiv.org/pdf/2312.00425.pdfDeeper Inquiries