核心概念
リアルタイムディープフェイクの生成パイプラインの固有の制限を標的とするチャレンジを設計し、それらのチャレンジに対する応答を分析することで、リアルタイムディープフェイクを検出することができる。
要約
本論文では、リアルタイムディープフェイク(RTDF)の検出のためのチャレンジ応答アプローチを提案している。RTDFは、ライブビデオ通話の中で、標的の顔を置き換えることができるため、オンラインでの人間の交流の信頼性を脅かしている。
提案手法では、RTDFの生成パイプラインの固有の制限を標的とするチャレンジを設計し、それらのチャレンジに対する応答を分析することで、RTDFを検出する。具体的には以下の4つのカテゴリのチャレンジを設計した:
頭部の動き: 頭部を特定の方向に動かすチャレンジ
顔の遮蔽: 手や物体で顔を遮蔽するチャレンジ
顔の変形: 手で顔を変形させるチャレンジ
顔の照明: 照明を変化させるチャレンジ
これらのチャレンジに対する応答を分析することで、RTDFの品質が一貫して低下することを示した。人間評価と自動評価の両方で、提案手法の有効性が確認された。
統計
47人の参加者から収集した409本の元の動画データ(約50GB)
3つのRTDFパイプラインを使って生成した56,247本の偽造動画データ