核心概念
本研究では、PCAベースとStyleGAN2ベースの2種類のメイクアップ事前モデルを開発し、メイクアップ推定の精度と効率を大幅に向上させた。これにより、3Dフェイスメイクアップ再構築、ユーザーフレンドリーなメイクアップ編集、メイクアップ転送、補間などの様々なアプリケーションが可能になった。
要約
本研究では、3Dフェイスメイクアップ推定と関連アプリケーションのための2種類のメイクアップ事前モデルを開発した。
- PCAベースの線形モデル
- 構築が容易で計算効率が高い
- ただし、高周波成分の表現が限定的
- StyleGAN2ベースの生成モデル
- 高周波成分を高品質に表現できる
- 一方で計算コストが高い
両モデルには長短があるが、メイクアップ推定や関連アプリケーションに有効活用できる。
メイクアップ推定では、従来手法が自己遮蔽顔に弱かったのに対し、提案手法は頑健性が高く、計算時間も大幅に短縮できた。
3Dフェイス再構築、ユーザーフレンドリーなメイクアップ編集、メイクアップ転送、補間など、様々なメイクアップ関連アプリケーションでも優れた性能を発揮した。
統計
従来手法のメイクアップ推定に要する時間は56.12秒と63.13秒だったのに対し、提案手法のPCAモデルは0.31秒、StyleGAN2モデルは18.13秒と大幅に高速化された。
引用
"本研究では、PCAベースとStyleGAN2ベースの2種類のメイクアップ事前モデルを開発し、メイクアップ推定の精度と効率を大幅に向上させた。"
"提案手法は、3Dフェイス再構築、ユーザーフレンドリーなメイクアップ編集、メイクアップ転送、補間など、様々なメイクアップ関連アプリケーションでも優れた性能を発揮した。"