核心概念
顔偽造検出のために、動き特徴を学習する効果的なフレームワークを提案します。
要約
最近の顔偽造ビデオが深層フェイク手法によって生成され、社会問題を引き起こしています。この記事では、画像ベースとシーケンスベースの方法に分けられる顔偽造検出手法に焦点を当てています。画像ベースの手法は個々のフレームで偽物の顔を区別し、CNNバックボーンを使用して特徴抽出し、分類またはクラスタリング損失を適用していました。一方、シーケンスベースの手法は一般的なビデオ分類ネットワークを直接使用しており、現在はフレームベースの手法と明確な利点が示されていません。提案された新しいフレームワークでは、動き一貫性ブロックと異常検出補助ブロックが導入されており、これらにより汎用的な結果が得られます。
統計
DeeperForensics-V1.0で評価したACC:85.8%
Celeb-DFで評価したAUC:99.9%
Xception+MCB+ADフレームワークでDFOからCDFへのAUC改善率:6.5%
引用
"Existing frame-based face forgery detection frameworks mainly pay attention to appearance and high-frequency features and still suffer from sophisticated manipulation which leaves fewer appearance anomaly clues."
"Our AD improves the AUC of Xception+MCB framework by 8.8% and 3.3% on the FF++ to DFO and CDF cross-domain test respectively."
"The performance in Table 3 shows that on the FF++ to DFO test, our MCB boosts the Xception backbone with an AUC improvement of 17%."