ViTGaze: A Novel Single-Modality Gaze Following Framework Based on Vision Transformers

Core Concepts

Vision Transformers enable a novel single-modality gaze following framework, ViTGaze, achieving state-of-the-art performance in predicting human gaze targets.

Abstract

ViTGaze introduces a new approach to gaze following using Vision Transformers. It focuses on extracting human-scene interactions through self-attention maps. The framework consists of a 4D interaction encoder and a 2D spatial guidance module. ViTGaze demonstrates superior performance compared to existing methods, with significant improvements in AUC and AP metrics. The model is efficient with fewer parameters and achieves SOTA results.

Introduction

Gaze following predicts a person's gaze target in an image.
Previous methods use multi-modality frameworks or query-based decoders.

Method

ViTGaze utilizes pre-trained plain Vision Transformers for gaze prediction.
Features are extracted using a 4D interaction encoder and guided by 2D spatial information.

Experiment

Evaluation on GazeFollow and VideoAttentionTarget datasets shows ViTGaze outperforms previous methods.
Ablation studies confirm the effectiveness of multi-level 4D features and 2D spatial guidance.

Conclusion

ViTGaze presents an innovative approach to gaze following, achieving high accuracy with efficient parameter usage.

Stats

"Our method achieves state-of-the-art (SOTA) performance among all single-modality methods."
"Our method gets a 3.4% improvement on AUC and 5.1% improvement on AP among single-modality methods."

Quotes

Key Insights Distilled From

ViTGaze

by Yuehao Song,... at arxiv.org 03-20-2024

https://arxiv.org/pdf/2403.12778.pdf

Deeper Inquiries

How can the concept of self-supervised pre-training be applied to other computer vision tasks

自己教師付きの事前学習の概念は、他のコンピュータビジョンタスクに適用することができます。例えば、物体検出やセグメンテーションなどのタスクでは、大規模な画像データセットを使用してモデルを訓練し、その後微調整することで高度なパフォーマンスを実現できます。このようにして得られた特徴量は、異なるコンピュータビジョンタスクにおいても有用性を発揮します。

What potential challenges could arise from relying solely on encoders for gaze following

ゲイズフォローイングにおいてエンコーダーだけに頼ることから生じる可能性のある課題はいくつかあります。まず第一に、デコーダーが不足している場合、精度や予測能力が制限される可能性があります。また、エンコーダーだけでは人間-シーン間の複雑な相互作用を十分に捉えられない場合も考えられます。さらに、単一モダリティアプローチでは情報源が限定されており、多角的な情報処理や解釈が困難となる可能性もあります。

How might the principles behind ViTGaze be adapted for applications beyond human-computer interaction

ViTGaze背後の原則は他のアプリケーションでも適応可能です。例えば医療画像解析や産業監視システムでは、「4D interaction encoder」と「2D spatial guidance module」を活用してオブジェクト検出や行動推定といった任務向上へ役立てられます。さらに自然言語処理分野でも同様の原則を採用し、「Vision Transformers」技術を文章生成や要約生成タスクへ展開することで効果的な結果改善が期待されます。