실시간 저지연 이벤트 기반 눈 추적 시스템 개발을 위한 하드웨어-소프트웨어 공동 설계

Core Concepts

이벤트 카메라와 하드웨어-소프트웨어 공동 설계를 통해 실시간 저지연 및 고정밀 눈 추적 시스템을 구현하였다.

Abstract

본 연구에서는 이벤트 카메라와 하드웨어-소프트웨어 공동 설계 기법을 활용하여 실시간 저지연 및 고정밀 눈 추적 시스템을 개발하였다.
먼저, 이벤트 카메라의 고속 및 희소 특성을 활용하기 위해 서브매니폴드 희소 합성곱 신경망(SCNN)을 백본으로 사용하였다. SCNN 모델은 FPGA 기반 희소 데이터 플로우 가속기에 구현되어 효율적으로 동작한다. 이후 추출된 특징 벡터는 호스트 CPU의 GRU와 완전 연결 계층을 통해 눈 중심 좌표를 예측한다.
제안한 시스템은 Event-based Eye-Tracking-AIS2024 데이터셋에서 81% p5 정확도, 99.5% p10 정확도, 3.71 픽셀의 평균 유클리드 거리를 달성하면서도 0.7 ms의 지연 시간과 2.29 mJ의 낮은 전력 소모를 보였다. 이는 기존 임베디드 GPU 대비 최대 77.1배 빠른 성능을 보인다.

Stats

제안한 SEE-D 모델은 0.7 ms의 지연 시간과 2.29 mJ의 전력 소모를 보였다.
SEE-D 모델은 99.53%의 p10 정확도와 3.71 픽셀의 평균 유클리드 거리를 달성하였다.

Quotes

"제안한 시스템은 Event-based Eye-Tracking-AIS2024 데이터셋에서 81% p5 정확도, 99.5% p10 정확도, 3.71 픽셀의 평균 유클리드 거리를 달성하면서도 0.7 ms의 지연 시간과 2.29 mJ의 낮은 전력 소모를 보였다."
"이는 기존 임베디드 GPU 대비 최대 77.1배 빠른 성능을 보인다."

Key Insights Distilled From

Co-designing a Sub-millisecond Latency Event-based Eye Tracking System with Submanifold Sparse CNN

by Baoheng Zhan... at arxiv.org 04-23-2024

https://arxiv.org/pdf/2404.14279.pdf

Deeper Inquiries

이벤트 기반 눈 추적 기술의 향후 발전 방향은 무엇일까?

이벤트 기반 눈 추적 기술은 저지연성, 저전력 소비, 정밀성 등의 장점을 가지고 있어 미래에 더 많은 응용 분야에서 발전할 것으로 예상됩니다. 특히, 가상 현실 및 증강 현실과 같은 분야에서의 활용이 더욱 확대될 것으로 예상됩니다. 또한, 이 기술은 인간-기계 상호작용, 인지 과정, 시각적 주의 등을 연구하는 데 중요한 도구로 활용될 것으로 예상됩니다. 미래에는 더욱 정확하고 효율적인 눈 추적 시스템이 개발되어 다양한 분야에서 활발하게 활용될 것으로 전망됩니다.

하드웨어-소프트웨어 공동 설계 기법을 다른 컴퓨터 비전 문제에 어떻게 적용할 수 있을까?

하드웨어-소프트웨어 공동 설계 기법은 다른 컴퓨터 비전 문제에도 적용될 수 있습니다. 예를 들어, 객체 감지, 이미지 분할, 영상 분석 등의 문제에 적용할 수 있습니다. 이 기법을 활용하면 특정 문제에 최적화된 하드웨어 가속기를 개발하여 속도와 효율성을 향상시킬 수 있습니다. 또한, 소프트웨어 측면에서는 효율적인 알고리즘을 개발하여 하드웨어와의 효율적인 상호작용을 통해 성능을 극대화할 수 있습니다.

이벤트 기반 센서와 딥러닝 모델의 결합을 통해 실현할 수 있는 새로운 응용 분야는 무엇이 있을까?

이벤트 기반 센서와 딥러닝 모델의 결합은 다양한 새로운 응용 분야를 열어줄 수 있습니다. 예를 들어, 자율 주행 자동차나 로봇 공학 분야에서의 활용이 가능합니다. 또한, 의료 분야에서는 실시간 의료 영상 처리나 환자 모니터링에 활용될 수 있습니다. 또한, 보안 분야에서는 이벤트 기반 센서를 활용한 실시간 감시 시스템을 구축할 수 있습니다. 이러한 새로운 응용 분야를 통해 이벤트 기반 센서와 딥러닝 모델의 결합이 혁신적인 기술 발전을 이끌어낼 수 있을 것으로 기대됩니다.