Core Concepts
eMotion-GANは、頭部姿勢変化に対して表情を保持しながらフロントビューを合成する新しい深層学習アプローチである。
Abstract
eMotion-GANは、2つのメインフェーズから構成される:
動作のフロントライゼーション
入力の非フロントビュー表情画像の光流れから、頭部姿勢変化による動きと表情変化による動きを分離する。
表情変化による動きのみを抽出し、フロントビューに変換する。
動作のワーピング
中性的な正面顔画像と、フロントライズされた表情動作を入力として、対応する表情付き正面顔を生成する。
この手法の主な特徴は以下の通り:
個人差を考慮せずに表情動作の類似性を活用できる
顔ランドマークに依存せず、正確な検出を必要としない
表情の転移が可能で、人物以外の顔にも適用可能
実験結果は、提案手法がフロントビューと非フロントビューの表情認識精度の差を大幅に縮小できることを示している。小さな姿勢変化では+5%、大きな変化では最大+20%の精度向上を達成した。
Stats
頭部姿勢変化による動きと表情変化による動きを分離することで、表情認識精度を大幅に向上できる。
提案手法は、小さな姿勢変化で+5%、大きな変化で最大+20%の精度向上を達成した。
Quotes
"eMotion-GANは、頭部姿勢変化に対して表情を保持しながらフロントビューを合成する新しい深層学習アプローチである。"
"提案手法は、小さな姿勢変化で+5%、大きな変化で最大+20%の表情認識精度向上を達成した。"