Concetti Chiave
Segment Anything 모델을 활용하여 비디오의 다양한 지역에 스타일 전송 기반 퍼터베이션을 추가함으로써 기존 공격 방식의 자연스러움 문제를 해결하고, 효율적인 비디오 인식 모델 공격을 달성하였다.
Sintesi
이 논문은 비디오 인식 모델에 대한 새로운 블랙박스 적대적 공격 기법인 LocalStyleFool을 제안한다. 기존의 StyleFool 공격이 전체 프레임에 스타일 전송을 적용하여 지역적 비자연스러움을 야기했던 문제를 해결하기 위해, LocalStyleFool은 Segment Anything 모델을 활용하여 비디오의 다양한 의미 영역을 추출하고 이 중 중요한 영역에 선별적으로 스타일 전송 기반 퍼터베이션을 적용한다.
구체적으로, LocalStyleFool은 먼저 SAM을 통해 비디오의 의미 영역을 추출하고, 이 중 중요 영역을 선별하기 위해 전이 기반 그래디언트 정보와 영역 크기를 고려한 기준을 사용한다. 이렇게 선별된 영역에 대해 타깃 클래스 비디오의 스타일을 전송하고, 미분 기반 미세 조정을 통해 최종 적대적 비디오를 생성한다.
실험 결과, LocalStyleFool은 기존 공격 대비 향상된 지역적 자연스러움과 시간적 일관성을 보이면서도 경쟁력 있는 공격 효율성을 달성하였다. 또한 고해상도 비디오 데이터셋에서도 우수한 성능을 보여, SAM의 정교한 분할이 고해상도 환경에서의 확장성 향상에 기여함을 확인하였다.
Statistiche
비디오 인식 모델 C3D의 UCF-101 데이터셋 정확도는 85.2%이다.
비디오 인식 모델 I3D의 HMDB-51 데이터셋 정확도는 62.8%이다.
비디오 인식 모델 R3D의 Kinetics-700 데이터셋 정확도는 63.1%이다.
Citazioni
"이 십년간의 발견은 학계와 산업계에 모두 DNN의 보안 위협을 가져왔다."
"StyleFool은 모든 픽셀에 스타일 전송을 적용하여 시간적 일관성과 전반적인 자연스러움을 보장하지만, 이로 인해 지역적 색상 이상이 발생한다."