Kernkonzepte
시선 추적 데이터를 활용하여 비디오에서 사용자의 의도를 인식하고 이를 바탕으로 향후 행동을 예측하는 모델을 제안한다.
Zusammenfassung
이 연구는 사용자의 시선 추적 데이터를 활용하여 비디오에서 사용자의 의도를 인식하고 이를 바탕으로 향후 행동을 예측하는 모델을 제안한다.
먼저 비디오 프레임과 사용자의 시선 데이터를 활용하여 시각-의미 그래프를 구축한다. 그래프 신경망을 통해 사용자의 의도를 인식하고 이를 바탕으로 향후 행동을 예측한다.
실험 결과, 제안 모델은 기존 방법들에 비해 행동 인식 및 예측 성능이 우수한 것으로 나타났다. 이는 시선 추적 데이터가 사용자의 의도 이해에 효과적으로 활용될 수 있음을 보여준다.
Statistiken
사용자의 시선 데이터를 활용하면 행동 인식 정확도가 0.61로 향상된다.
시선 데이터를 활용하지 않고 전체 비디오를 입력하면 행동 인식 정확도가 0.33으로 낮아진다.
제안 모델의 행동 예측 IoU는 0.35로, 기존 방법들에 비해 향상되었다.
Zitate
"시선 추적 데이터를 활용하면 모델의 성능을 크게 향상시킬 수 있다."
"사용자의 의도를 이해하고 이를 바탕으로 향후 행동을 예측하는 것이 중요하다."