360도 이미지에서 연속적인 시선 추적 데이터 생성을 위한 확산 모델

Core Concepts

본 연구는 360도 이미지에서 실제 사용자의 시선 추적 데이터와 유사한 연속적인 시선 추적 데이터를 생성하는 확산 모델 DiffGaze를 제안한다.

Abstract

본 연구는 360도 이미지에서의 연속적인 시선 추적 데이터 생성을 위한 확산 모델 DiffGaze를 제안한다. 기존 연구들은 이미지 상의 고정점 예측(scanpath prediction) 또는 주의 집중 지도(saliency map) 예측에 초점을 맞추었지만, 이는 실제 사용자의 시선 추적 데이터의 시간적 특성을 반영하지 못한다는 한계가 있었다. DiffGaze는 360도 이미지의 특징을 조건으로 하는 확산 모델을 사용하여 연속적인 시선 추적 데이터를 생성한다. 이를 위해 시간적 의존성과 공간적 의존성을 모델링하는 두 개의 Transformer를 활용한다. 실험 결과, DiffGaze는 기존 방법들에 비해 연속적인 시선 추적 데이터 생성, 고정점 예측, 주의 집중 지도 예측 등 다양한 평가 지표에서 우수한 성능을 보였다. 또한 사용자 평가에서도 실제 사용자의 시선 추적 데이터와 구분이 어려운 수준의 결과를 생성하였다. 본 연구는 360도 이미지에서의 시선 추적 데이터 생성 분야에 새로운 접근법을 제시하였으며, 다양한 응용 분야에 활용될 수 있을 것으로 기대된다.

Stats

360도 이미지에서 사용자의 시선 추적 데이터는 평균 47.73개의 saccade와 41.11개의 fixation으로 구성된다. 사용자의 평균 saccade 속도는 224.23도/초이며, 평균 fixation 지속 시간은 0.69초이다.

Quotes

"DiffGaze는 360도 이미지에서 실제 사용자의 시선 추적 데이터와 유사한 연속적인 시선 추적 데이터를 생성할 수 있다." "DiffGaze는 기존 방법들에 비해 연속적인 시선 추적 데이터 생성, 고정점 예측, 주의 집중 지도 예측 등 다양한 평가 지표에서 우수한 성능을 보였다."

Key Insights Distilled From

DiffGaze

by Chuh... at arxiv.org 03-27-2024

https://arxiv.org/pdf/2403.17477.pdf

Deeper Inquiries

360도 이미지 외에 다른 유형의 콘텐츠에서도 DiffGaze를 적용할 수 있을까?

DiffGaze는 연속적인 인간의 응시 시퀀스를 생성하는 데 사용되는 모델이지만, 이 모델은 360도 이미지에 국한되지 않습니다. DiffGaze는 이미지 특징을 조건으로 사용하여 연속적인 응시 시퀀스를 생성하는 방식으로 작동하므로 다른 유형의 이미지나 비디오에서도 적용할 수 있습니다. 예를 들어, 일반적인 2D 이미지나 비디오에서도 DiffGaze를 사용하여 인간의 시선을 추적하고 시각적 주의의 패턴을 모델링할 수 있습니다. 따라서 다양한 시각적 콘텐츠에서 DiffGaze를 활용하여 시선 추적 및 시각적 주의 모델링을 수행할 수 있습니다.