核心概念
現有的視訊品質評估 (VQA) 模型容易受到對抗性攻擊,因此需要一種新的安全 VQA 模型,該模型能夠抵抗此類攻擊,同時保持高 VQA 性能。
文獻資訊: Zhang, A.-X., Ran, Y., Tang, W., Wang, Y.-G., Guan, Q., & Yang, C. (2024). Secure Video Quality Assessment Resisting Adversarial Attacks. arXiv preprint arXiv:2410.06866v1.
研究目標: 本文旨在探討現有視訊品質評估 (VQA) 模型面對對抗性攻擊的脆弱性,並提出一個名為 SecureVQA 的安全 NR-VQA 架構,以抵抗此類攻擊。
方法: SecureVQA 將對抗性視訊分為兩個分支進行處理:
畫面內防禦分支: 透過跳躍取樣處理輸入視訊,並採用空間網格取樣和像素級隨機化兩種策略引入隨機性,以破壞精心設計的擾動並最大程度地保留畫面內資訊。
畫面間防禦分支: 透過連續取樣處理輸入視訊,採用調整大小操作和像素級隨機化,並提取時間資訊作為補償,以提高模型穩健性,同時避免對畫面間資訊進行額外修改。
最後,設計一個資訊融合模組來整合兩個分支的嵌入,以增強嵌入的整體表示能力。
主要發現:
SecureVQA 在白盒和黑盒設置下均實現了卓越的安全性,同時與最先進的模型相比,達到了具有競爭力的 VQA 性能標準。
消融研究證實了每種設計元素對 SecureVQA 架構的貢獻。
像素級隨機化對穩健性做出了巨大貢獻,同時對模型性能的影響最小。
時間資訊提取在模型穩健性中也起著關鍵作用,並且是唯一有助於提高模型性能的策略。
空間網格取樣還有助於提高模型的穩健性,同時最大程度地保留影片畫面的詳細資訊。
主要結論: SecureVQA 成功實現了預期目標,它不僅展示了對對抗性攻擊的強大抵抗力,而且還獲得了卓越的 VQA 性能。
意義: 這項研究為開發更安全可靠的 VQA 模型提供了新的思路,並為 VQA 技術的實際應用奠定了基礎。
局限性和未來研究方向:
SecureVQA 中的一些策略(如守護圖)可能會對性能產生負面影響,因為安全性和準確性之間存在固有的權衡。
未來可以進一步探索其他防禦策略,以進一步提高 VQA 模型的安全性。
統計資料
SecureVQA 在 LSVQ1080P 資料集上受到攻擊後,SRCC 僅下降了 27.4%。
與 HVS-5M 相比,SecureVQA 在上述五個測試集上的平均 SRCC 和 PLCC 穩健性分別提高了 110.7% 和 120.0%。
在上述五個測試集上,SecureVQA 的 SRCC 和 PLCC 僅受到 0.8% 的輕微干擾。
與原始模型相比,當性能下降僅為 0.8% SRCC 時,像素級隨機化在上述兩個資料集上的平均 SRCC 穩健性提高了 107.3%。
結合畫面間資訊後,SRCC 的性能提高了 4.0%,在上述兩個資料集上的平均穩健性提高了 41.4%。