Core Concepts
深偽造動画を正確に検出し、なぜその動画が偽造されたかを説明することが本研究の主な目的である。
Abstract
本研究では、深偽造動画の検出に向けて、畳み込みニューラルネットワーク(CNN)とカプセルネットワーク(CapsuleNet)を組み合わせたハイブリッドモデルを提案している。
動画フレームから顔領域を抽出し、CNN-CapsuleNetモデルを用いて特徴ベクトルを検出する。
時系列的な不整合を捉えるためにLSTMレイヤーを追加している。
提案モデルは、DFDC(Deepfake Detection Challenge)データセットを用いて評価され、88%の高い検出精度を達成した。
さらに、Grad-CAMを用いて、モデルが偽造動画を検出する際の根拠を可視化し、説明可能なAIを実現している。
Stats
提案モデルの検出精度は88%である。
提案モデルのバリデーションロスは28.93%である。
提案モデルのバリデーションRecallは88%である。
提案モデルのバリデーションAUCは95.10%である。
Quotes
"深偽造技術は、誰もが現実に参加していない状況でも、誰かを簡単かつスムーズにデジタルメディアに挿入することができる。"
"深偽造の作成は、研究、産業利用、娯楽の目的で導入されたが、今日では、裸眼では'real'と'fake'を区別するのが難しくなっている。"