메타 학습 기반의 다중 일관성 증류 기법을 통해 알려지지 않은 적대적 공격에 대한 일반화된 강건성을 달성한다.
적대적 전이 학습에서 초기화(사전 학습 모델과 선형 헤드)가 중요한 역할을 한다. 특히 로버스트한 사전 학습 모델과 로버스트 선형 초기화(RoLI)를 사용하면 다운스트림 작업의 정확도와 적대적 강건성을 크게 향상시킬 수 있다.
적대적 학습 기법은 모델의 강건성을 높이지만, 클래스 간 강건성 편차 문제가 발생한다. 이 논문에서는 분포적 강건 최적화를 활용하여 강건성과 공정성을 동시에 달성하는 새로운 학습 패러다임을 제안한다.