Der Artikel diskutiert das Konzept der kontinuierlichen Verteidigung gegen Angriffe, bei der ein Modell ständig an neue Angriffe angepasst werden muss, ohne dabei die Robustheit gegen frühere Angriffe zu verlieren.
Zunächst wird gezeigt, dass traditionelle Verteidigungsmethoden wie adversarisches Training unter einer Abfolge von Angriffen an katastrophalem Vergessen leiden. Dies stellt eine große Herausforderung für die Zuverlässigkeit von Deep-Learning-Modellen in der Praxis dar.
Um diese Herausforderung zu adressieren, schlagen die Autoren den AIR-Ansatz vor. AIR kombiniert isotrope und anisotrope Datenaugmentierung, um ein Selbstdistillations-Pseudoreplikations-Paradigma zu etablieren. Die isotrope Augmentierung bricht spezifische Muster adversarieller Samples auf und erhält so die Konsistenz zwischen neuen und alten Modellen. Die anisotrope Augmentierung erweitert den Datenmanifold und verbindet die Semantiken früherer und neuer Angriffe. Zusätzlich führen die Autoren einen Regularisierer ein, der die Generalisierung zwischen neuen und alten Angriffen optimiert.
Umfangreiche Experimente auf MNIST, CIFAR10 und CIFAR100 zeigen, dass AIR die Herausforderung des katastrophalen Vergessens effektiv löst und teilweise sogar die empirischen Leistungsgrenzen des gemeinsamen Trainings erreichen kann. Die Analyse der Merkmalsverteilungen liefert weitere Erkenntnisse über den Mechanismus von AIR.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문