360도 이미지에서 연속적인 시선 추적 데이터 생성을 위한 확산 모델

Kernkonzepte

본 연구는 360도 이미지에서 실제 사용자의 시선 추적 데이터와 유사한 연속적인 시선 추적 데이터를 생성하는 확산 모델 DiffGaze를 제안한다.

Zusammenfassung

본 연구는 360도 이미지에서의 연속적인 시선 추적 데이터 생성을 위한 확산 모델 DiffGaze를 제안한다.

• 기존 연구들은 이미지 상의 고정점 예측(scanpath prediction) 또는 주의 집중 지도(saliency map) 예측에 초점을 맞추었지만, 이는 실제 사용자의 시선 추적 데이터의 시간적 특성을 반영하지 못한다는 한계가 있었다.

• DiffGaze는 360도 이미지의 특징을 조건으로 하는 확산 모델을 사용하여 연속적인 시선 추적 데이터를 생성한다. 이를 위해 시간적 의존성과 공간적 의존성을 모델링하는 두 개의 Transformer를 활용한다.

• 실험 결과, DiffGaze는 기존 방법들에 비해 연속적인 시선 추적 데이터 생성, 고정점 예측, 주의 집중 지도 예측 등 다양한 평가 지표에서 우수한 성능을 보였다. 또한 사용자 평가에서도 실제 사용자의 시선 추적 데이터와 구분이 어려운 수준의 결과를 생성하였다.

• 본 연구는 360도 이미지에서의 시선 추적 데이터 생성 분야에 새로운 접근법을 제시하였으며, 다양한 응용 분야에 활용될 수 있을 것으로 기대된다.

Statistiken

360도 이미지에서 사용자의 시선 추적 데이터는 평균 47.73개의 saccade와 41.11개의 fixation으로 구성된다.
사용자의 평균 saccade 속도는 224.23도/초이며, 평균 fixation 지속 시간은 0.69초이다.

Zitate

"DiffGaze는 360도 이미지에서 실제 사용자의 시선 추적 데이터와 유사한 연속적인 시선 추적 데이터를 생성할 수 있다."
"DiffGaze는 기존 방법들에 비해 연속적인 시선 추적 데이터 생성, 고정점 예측, 주의 집중 지도 예측 등 다양한 평가 지표에서 우수한 성능을 보였다."

Wichtige Erkenntnisse aus

DiffGaze

by Chuh... um arxiv.org 03-27-2024

https://arxiv.org/pdf/2403.17477.pdf

Tiefere Fragen

360도 이미지 외에 다른 유형의 콘텐츠에서도 DiffGaze를 적용할 수 있을까?

DiffGaze는 연속적인 인간의 응시 시퀀스를 생성하는 데 사용되는 모델이지만, 이 모델은 360도 이미지에 국한되지 않습니다. DiffGaze는 이미지 특징을 조건으로 사용하여 연속적인 응시 시퀀스를 생성하는 방식으로 작동하므로 다른 유형의 이미지나 비디오에서도 적용할 수 있습니다. 예를 들어, 일반적인 2D 이미지나 비디오에서도 DiffGaze를 사용하여 인간의 시선을 추적하고 시각적 주의의 패턴을 모델링할 수 있습니다. 따라서 다양한 시각적 콘텐츠에서 DiffGaze를 활용하여 시선 추적 및 시각적 주의 모델링을 수행할 수 있습니다.