本研究は、イベントカメラとサブマニフォールド疎sparse CNNを組み合わせることで、高速で低消費電力の視線追跡システムを実現している。
まず、イベントカメラからの入力データの疎性を活用するため、サブマニフォールド疎sparse CNNを採用している。これにより、入力データの疎な部分のみを効率的に処理することができる。
次に、FPGA上にサブマニフォールド疎sparse CNNのアクセラレータを実装し、高速な特徴抽出を行っている。抽出された特徴は、CPUのGRUとFC層で時系列処理とアイセンター推定を行う。
このようなハードウェア/ソフトウェアの協調設計により、0.7 ms - 0.94 msの低遅延と2.29 mJ/推論の高エネルギー効率を実現している。また、Event-based Eye-Tracking-AIS2024データセットで81%のp5精度、99.5%のp10精度を達成している。
本手法は、今後のイベントベースの視線追跡システムの発展に大きな可能性を秘めている。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Baoheng Zhan... at arxiv.org 04-23-2024
https://arxiv.org/pdf/2404.14279.pdfDeeper Inquiries