파노라마 비디오를 위한 머리와 눈 추적 데이터셋: Panonut360

핵심 개념

파노라마 비디오 서비스의 사용자 선호도와 습관을 반영하기 위해 HMD를 통해 수집된 사용자의 시선 데이터를 분석하고, 이를 바탕으로 새로운 사용자 시선 가중치 모델인 Panonut을 제안한다.

초록

본 논문은 파노라마 비디오 시청 시 사용자의 머리와 눈 움직임 데이터를 수집하고 분석한 결과를 소개한다.
데이터 수집 과정:

HTC VIVE Pro Eye 장비를 사용하여 50명의 참여자(남 25명, 여 25명)를 대상으로 15개의 파노라마 비디오(주로 4K)를 시청하며 머리와 눈 움직임 데이터를 120Hz로 수집했다.
참여자들은 다양한 연령대와 VR 경험 수준을 가지고 있다.
데이터에는 시청 시간, 프레임, 머리 위치, 시선 위치, 머리 자세 등의 정보가 포함되어 있다.
데이터 분석 결과:

사용자의 시선이 항상 머리 방향의 중심에 있다는 일반적인 가정과 달리, 시선은 중심에서 약 14.3도 정도 아래쪽으로 편향되어 있음을 발견했다.
이러한 시선 편향 현상은 사용자의 콘텐츠 선호도와 인간 눈의 구조적 특성에 기인한 것으로 분석된다.
이를 반영하여 "도넛" 모양의 새로운 사용자 시선 가중치 모델인 Panonut을 제안했다.
본 데이터셋은 파노라마 비디오 스트리밍 적응, 시선 예측, 주요 관심 영역 탐지 등의 연구에 활용될 수 있다.

통계

사용자의 시선이 머리 방향 중심에서 약 14.3도 정도 아래쪽으로 편향되어 있다.

인용구

"사용자의 시선이 항상 머리 방향의 중심에 있다는 일반적인 가정과 달리, 시선은 중심에서 약 14.3도 정도 아래쪽으로 편향되어 있음을 발견했다."
"이러한 시선 편향 현상은 사용자의 콘텐츠 선호도와 인간 눈의 구조적 특성에 기인한 것으로 분석된다."

핵심 통찰 요약

Panonut360

by Yutong Xu,Ju... 게시일 arxiv.org 03-27-2024

https://arxiv.org/pdf/2403.17708.pdf

더 깊은 질문

파노라마 비디오 시청 시 사용자의 시선 편향 현상이 발생하는 다른 원인은 무엇일까

파노라마 비디오 시청 시 사용자의 시선 편향 현상이 발생하는 다른 원인은 눈의 구조적 특성과 관련이 있을 수 있습니다. 인간의 눈은 수평적인 시야보다 수직적인 시야에 더 민감하게 반응하는 경향이 있습니다. 따라서, 사용자가 파노라마 비디오를 시청할 때 눈의 생리적 특성으로 인해 수직적인 방향에 더 많은 관심을 기울일 수 있습니다. 또한, 비디오의 콘텐츠 구성이나 시각적 요소에 따라 사용자의 시선이 특정 방향으로 편향될 수도 있습니다. 이러한 다양한 요인들이 시선 편향 현상을 유발할 수 있습니다.

사용자의 시선 편향 현상이 다른 유형의 콘텐츠(예: 게임, 교육 등)에서도 관찰되는지 확인해볼 필요가 있다. 사용자의 시선 편향 현상을 고려하여 파노라마 비디오 스트리밍 서비스의 QoE를 향상시킬 수 있는 방법은 무엇이 있을까

사용자의 시선 편향 현상은 다른 유형의 콘텐츠에서도 관찰될 수 있습니다. 예를 들어, 게임에서도 사용자는 특정 요소나 상황에 더 많은 관심을 기울일 수 있으며, 교육 콘텐츠에서도 사용자가 학습하려는 내용에 집중하는 경향이 있을 것입니다. 따라서, 다양한 유형의 콘텐츠에서 사용자의 시선 편향을 분석하고 이를 이해하는 것이 중요합니다.

사용자의 시선 편향 현상을 고려하여 파노라마 비디오 스트리밍 서비스의 QoE를 향상시키기 위한 방법으로는 다음과 같은 접근 방법이 있을 수 있습니다:

동적 비디오 콘텐츠 관리: 사용자의 시선 편향을 고려하여 동적으로 비디오 콘텐츠를 관리하고, 중요한 부분에 대해 더 높은 해상도나 비트율을 할당함으로써 사용자 경험을 향상시킬 수 있습니다.
실시간 스트리밍 조정: 사용자의 시선 편향을 실시간으로 감지하여 스트리밍 비트율을 조정하고, 사용자가 주로 관심을 가지는 부분에 더 많은 대역폭을 할당함으로써 QoE를 최적화할 수 있습니다.
개인화된 콘텐츠 제공: 사용자의 시선 편향 데이터를 활용하여 각 사용자에게 맞춤형 콘텐츠를 제공하고, 사용자의 선호도에 따라 비디오 스트리밍을 조정함으로써 개인화된 서비스를 제공할 수 있습니다.