本論文では、視覚言語モデル(VLM)の適応手法に対する脆弱性を実験的に示した。従来の適応手法では、VLMの性能が敵対的攻撃によって大幅に低下することが明らかになった。
そこで本論文では、パラメータ効率的な敵対的適応手法であるAdvLoRAを提案した。AdvLoRAは以下の特徴を持つ:
AdvLoRAは、従来手法と比較して、敵対的攻撃に対するロバスト性が大幅に向上しつつ、パラメータ数も大幅に削減できることを実験的に示した。特に大規模データセットにおいて、その効果が顕著であった。
一方で、敵対的適応によってはモデルの自然データに対する性能が低下する可能性があることも明らかになった。しかし、AdvLoRAはこの問題にも一定の対処ができることが示された。
以上より、AdvLoRAは視覚言語モデルの敵対的ロバスト性を効果的かつ効率的に向上させる手法として有効であると言える。
Na inny język
z treści źródłowej
arxiv.org
Głębsze pytania