核心概念
픽셀 공간 확산 모델(PDM)은 잠재 공간 확산 모델(LDM)에 비해 적대적 공격에 훨씬 강하다. 이는 기존의 적대적 공격 방법이 LDM에만 효과적이며, PDM에는 적용할 수 없다는 것을 의미한다. 또한 강력한 PDM은 기존의 보호 기법을 쉽게 제거할 수 있는 범용 정화기로 사용될 수 있다.
摘要
이 논문은 확산 모델에 대한 적대적 공격을 재검토하고 있다. 기존 연구는 잠재 공간 확산 모델(LDM)에 대한 적대적 공격에 초점을 맞추었지만, 이 논문은 픽셀 공간 확산 모델(PDM)에 대한 공격을 처음으로 조사한다.
실험 결과, PDM은 기존의 적대적 공격 방법에 훨씬 강한 것으로 나타났다. 반면 LDM은 쉽게 공격될 수 있다. 이는 기존의 적대적 공격 방법이 실제로는 LDM에 대한 공격의 특수한 경우에 불과하다는 것을 의미한다.
또한 강력한 PDM은 기존의 보호 기법에 의해 생성된 적대적 패턴을 효과적으로 제거할 수 있는 범용 정화기로 사용될 수 있다. 이는 현재의 보호 방법이 실제로 이미지를 효과적으로 보호하지 못한다는 것을 의미한다.
이 연구 결과는 확산 모델에 대한 적대적 공격 문제를 재검토하고 더 효과적인 보호 방법을 모색할 필요성을 제기한다.
統計資料
적대적 공격을 받은 LDM의 FID 점수는 깨끗한 이미지에 비해 크게 증가했지만, PDM의 FID 점수는 거의 변화가 없었다.
적대적 공격을 받은 LDM의 SSIM 값은 크게 감소했지만, PDM의 SSIM 값은 거의 변화가 없었다.
적대적 공격을 받은 LDM의 LPIPS 값은 크게 증가했지만, PDM의 LPIPS 값은 거의 변화가 없었다.
적대적 공격을 받은 LDM의 IA 점수는 크게 감소했지만, PDM의 IA 점수는 거의 변화가 없었다.
引述
"픽셀은 장벽이다. 원래의 PDM 역전 프로세스는 픽셀 공간에 직접 큰 무작위성을 도입하여 전체 시스템을 속이기 어렵게 만든다."
"픽셀은 또한 적대적 perturbation을 기반으로 한 보호를 달성하는 것을 막는 장벽이다. 강력한 PDM을 사용하여 out-of-distribution perturbation을 제거할 수 있기 때문이다."