核心概念
本論文では、3D形状情報を活用して、入力画像の表情と視点を制御可能な肖像画アニメーション生成手法を提案する。表情パラメータを直接的に画像特徴に注入することで、表情と外見の分離を実現し、クロスアイデンティティの表情転写時の外見変化を抑制する。
要約
本論文では、3D-aware肖像画アニメーション手法「Export3D」を提案している。
まず、表情パラメータと外見情報が強く結びついている問題に着目し、対照学習に基づく表情特徴抽出手法を提案する。これにより、表情情報と外見情報を分離した表情特徴を得ることができる。
次に、この表情特徴を用いて、入力画像の表情と視点を制御可能な3D表現(tri-plane)を生成する。具体的には、入力画像と運転表情パラメータを入力とし、表情適応的なレイヤー正規化を用いてtri-planeを生成する。
最後に、生成したtri-planeを体積レンダリングにより2D画像に変換し、超解像処理を行うことで、最終的な出力画像を得る。
実験の結果、提案手法は表情と外見の分離を実現し、クロスアイデンティティの表情転写時の外見変化を抑制できることを示している。また、3D表現を用いることで、視点制御も可能となっている。
統計
表情パラメータβは64次元のベクトルである。
カメラパラメータpは25次元のベクトルである。