แนวคิดหลัก
非接触センサーを使わずに、心拍変動特徴と行動特徴を組み合わせることで、オンラインミーティングの参加者のエンゲージメントを正確に推定できる。
บทคัดย่อ
本研究では、オンラインミーティングにおける参加者のエンゲージメントを推定する新しい手法を提案している。
まず、ソーシャルワーカーのオンラインミーティングを収録した独自のエンゲージメントデータセットを構築した。このデータセットには、参加者の顔の動画と心拍数データが含まれている。
次に、非監視型の深層学習モデルを使って、動画から正確な心拍変動(HRV)信号を再構築する手法を開発した。HRV特徴量を計算し、エンゲージメントの推定に使用した。
さらに、表情や視線、頭の動きなどの行動特徴も抽出し、HRV特徴量と組み合わせることで、エンゲージメントの推定精度をさらに向上させた。
実験の結果、HRV特徴量のみを使った場合でも94%の精度を達成できることが分かった。行動特徴を加えると精度が96%まで向上した。
本手法は、接触センサーや教師データを必要とせずに、オンラインミーティングの参加者のエンゲージメントを正確に推定できる。今後、この手法をさらに発展させ、オンラインミーティングの分析に活用していくことが期待される。
สถิติ
心拍数の平均絶対誤差は5.15 bpm、二乗平均平方根誤差は7.81 bpmであった。