高速低消費電力のイベントベースの視線追跡システムの共同設計

Core Concepts

イベントカメラとサブマニフォールド疎sparse CNNを統合することで、低遅延、低消費電力、高精度の視線追跡システムを実現する。

Abstract

本研究は、イベントカメラとサブマニフォールド疎sparse CNNを組み合わせることで、高速で低消費電力の視線追跡システムを実現している。 まず、イベントカメラからの入力データの疎性を活用するため、サブマニフォールド疎sparse CNNを採用している。これにより、入力データの疎な部分のみを効率的に処理することができる。 次に、FPGA上にサブマニフォールド疎sparse CNNのアクセラレータを実装し、高速な特徴抽出を行っている。抽出された特徴は、CPUのGRUとFC層で時系列処理とアイセンター推定を行う。 このようなハードウェア/ソフトウェアの協調設計により、0.7 ms - 0.94 msの低遅延と2.29 mJ/推論の高エネルギー効率を実現している。また、Event-based Eye-Tracking-AIS2024データセットで81%のp5精度、99.5%のp10精度を達成している。 本手法は、今後のイベントベースの視線追跡システムの発展に大きな可能性を秘めている。

Stats

提案手法のp5精度は81%、p10精度は99.5%である。 提案手法の平均ユークリッド距離は3.71ピクセルである。 提案手法の推論遅延は0.7 ms - 0.94 msである。 提案手法のエネルギー効率は2.29 mJ/推論である。

Quotes

"イベントカメラからの入力データの疎性を活用するため、サブマニフォールド疎sparse CNNを採用している。" "FPGA上にサブマニフォールド疎sparse CNNのアクセラレータを実装し、高速な特徴抽出を行っている。" "ハードウェア/ソフトウェアの協調設計により、0.7 ms - 0.94 msの低遅延と2.29 mJ/推論の高エネルギー効率を実現している。"

Key Insights Distilled From

Co-designing a Sub-millisecond Latency Event-based Eye Tracking System with Submanifold Sparse CNN

by Baoheng Zhan... at arxiv.org 04-23-2024

https://arxiv.org/pdf/2404.14279.pdf

Deeper Inquiries

イベントベースのアプローチは、従来のフレームベースのアプローチと比べてどのような長所と短所があるか

イベントベースのアプローチは、従来のフレームベースのアプローチと比べていくつかの利点があります。まず、イベントベースのカメラは、画像を固定された時間間隔でキャプチャする代わりに、ピクセルごとの光の強度変化を検出します。この非常に疎な出力はデータレートを大幅に減少させ、バックエンド処理の要求を軽減します。また、イベントカメラの非同期性は高い時間分解能を実現し、低遅延と正確な視線追跡を可能にします。一方で、イベントベースのアプローチは、深層学習モデルにおいて疎なデータを完全に活用することが課題となります。通常、GPUやCPUなどの既製のハードウェアプラットフォームは、イベント処理において満足できるパフォーマンスを提供できないことがあります。

サブマニフォールド疎sparse CNNを採用することで、どのようなモデル圧縮効果が得られたか

サブマニフォールド疎CNNを採用することで、モデルの圧縮効果が得られました。通常の畳み込みと比較して、サブマニフォールド疎畳み込みは、入力と出力の非ゼロ位置が同一であるため、スパース性を保持しながら意味のある情報を伝播させることができます。このことにより、膨大な計算を削減し、不要な領域での計算を減らすことができます。具体的には、サブマニフォールド疎CNNを採用することで、モデルの効率が向上し、より効果的な推論が可能となりました。

提案手法をさらに発展させるためには、どのようなアプローチが考えられるか

提案手法をさらに発展させるためには、いくつかのアプローチが考えられます。まず、再帰モジュールやアテンションモジュールをFPGAデータフローアクセラレータに統合することで、さらなる遅延パフォーマンスの向上が期待されます。この取り組みには、新しい量子化技術の開発やいくつかの非線形関数の実装、およびバッチ間パイプラインのサポートが必要となります。さらに、モデルサイズとパフォーマンスのトレードオフを考慮したハードウェアソフトウェアの最適化手法を導入することで、提案手法のさらなる改善が可能となります。