本研究では、多モーダルモデルに対する敵対的攻撃への確実な防御手法であるMMCertを提案している。
多モーダルモデルは、画像、3Dデータ、音声、テキストなど、複数のモダリティからの入力を活用するモデルである。既存研究では、このような多モーダルモデルも、各モダリティに対する小さな摂動によって誤った予測をするようになることが示されている。
既存の確実な防御手法は主に単一モーダルモデルを対象としたものであり、多モーダルモデルに適用すると性能が低下する。そこで本研究では、MMCertを提案する。MMCertは、各モダリティの基本要素数の上限を設けることで、多モーダル入力に対する攻撃に対する堅牢性を保証する。
具体的には、まず入力を複数のサブサンプルに分割し、それぞれに対して予測を行う。そして、それらの予測結果を統合することで、最終的な予測を行う。この際、各モダリティの基本要素数の上限を設けることで、攻撃に対する堅牢性を保証する。
本研究では、多モーダル道路セグメンテーションタスクと多モーダル感情認識タスクにおいて、MMCertの有効性を示している。MMCertは、既存の確実な防御手法であるランダムアブレーションを大きく上回る性能を示している。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yanting Wang... at arxiv.org 03-29-2024
https://arxiv.org/pdf/2403.19080.pdfDeeper Inquiries