本研究は、VR環境における感情認識のための新しい手法を提案している。主な内容は以下の通り:
データ収集: HP Reverb G2 Omnicept Editionヘッドセットを使用し、4つの基本感情(幸せ、悲しみ、怒り、恐怖)を誘発するビデオコンテンツを視聴中の瞳孔径データを収集した。
前処理: 瞳孔径データから瞬目に相当する-1の値を除去し、クリーンなデータセットを作成した。
特徴抽出: 時間領域、周波数領域、時間-周波数領域の特徴を抽出し、175の特徴量を生成した。
特徴選択: mRMRとGridSearchCVを用いて、50の最適な特徴量を選定した。
分類: グラディエントブースティングモデルを適用し、特徴工学を行うことで98.8%の高精度で4つの感情を分類できた。一方、特徴工学なしでも84.9%の精度を達成した。
評価: 精度、特異度、感度、適合率、F値、Matthews相関係数などの指標で高い性能を示した。
本研究の成果は、触覚を伴う没入型VR体験を実現するThelxinoëフレームワークの重要な一部を成すものである。瞳孔径の変化を利用した感情認識は、VR空間における人間の感情状態を把握し、より自然で没入感のある体験を提供するための基盤となる。今後は、脳波(EEG)データなどの他のセンサ情報と統合し、マルチモーダルな感情認識を実現することが課題として挙げられる。
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Darlene Bark... ที่ arxiv.org 03-29-2024
https://arxiv.org/pdf/2403.19014.pdfสอบถามเพิ่มเติม