Concetti Chiave
本文提出了一種名為 HyperAT 的新型對抗性調整框架,透過超網路生成針對不同防禦方法的 LoRA 權重,並結合多個 LoRA 模組,有效提升預訓練大型視覺模型的對抗性穩健性,同時保持較高的計算效率。
研究目標
本研究旨在解決預訓練大型視覺模型易受對抗性攻擊的脆弱性問題,並提出一個名為 HyperAT 的新型對抗性調整框架,以提升模型的對抗性穩健性。
方法
HyperAT 結合了超網路和低秩適配(LoRA)技術。它包含三個主要組成部分:
學習方法嵌入生成器:為每個對抗性訓練方法生成特定的嵌入向量。
方法特定的 LoRA 模組:根據方法嵌入向量生成,用於微調預訓練模型。
共享超網路:接收方法嵌入向量作為輸入,生成對應 LoRA 模組的參數。
HyperAT 允許模型同時學習多種對抗性訓練方法,並透過共享超網路促進不同方法之間的知識轉移。此外,HyperAT+ 透過合併不同 LoRA 模組的參數,進一步增強了模型的穩健性。
主要發現
HyperAT 在 CIFAR-10、CIFAR-100 和 Imagenette 數據集上顯著優於現有的對抗性訓練方法,包括全參數微調和基於 PEFT 的方法。
HyperAT 需要的可訓練參數數量遠少於全參數微調,同時實現了更高的穩健性。
HyperAT 可以靈活地整合多種對抗性訓練方法,並隨著新方法的加入而進一步提升性能。
結論
HyperAT 為提升預訓練大型視覺模型的對抗性穩健性提供了一種高效且有效的方法。它在保持高計算效率的同時,顯著提高了模型對抗各種攻擊的穩健性。
意義
本研究對於提高計算機視覺系統在現實世界應用中的安全性具有重要意義,特別是在安全關鍵型應用中,例如自動駕駛和醫療影像分析。
局限性和未來研究方向
HyperAT 的性能受到所選對抗性訓練方法組合的影響,未來工作可以探索更優的組合策略。
HyperAT+ 的調整迭代次數需要仔細調整,以平衡穩健性和訓練效率。
Statistiche
使用 PGD-20、CW-20 和 AutoAttack (AA) 評估模型的對抗性穩健性,攻擊預算為 8/255。
在 CIFAR-10、CIFAR-100 和 Imagenette 數據集上進行實驗。
主要使用 ViT-B、ViT-L 和 DeiT 模型進行實驗。
LoRA 的秩 r 預設設定為 16。
CIFAR10 和 CIFAR100 數據集的批次大小設定為 256,Imagenette 數據集的批次大小設定為 64。