Główne pojęcia
무작위 평활화 기반 강건성 인증은 계산적으로 비용이 많이 들지만, 이를 개선하기 위해 원래 모델의 인증 보증을 재사용하여 유사한 모델의 인증을 효율적으로 수행하는 증분 접근법을 제안한다.
Streszczenie
이 논문은 무작위 평활화 기반 강건성 인증의 계산 비용을 줄이기 위한 증분 접근법을 제안한다.
무작위 평활화 기반 강건성 인증은 효과적이지만 계산적으로 비용이 많이 든다. 특히 많은 수의 샘플을 사용해야 하는 경우 문제가 된다.
모델이 양자화나 가지치기 등의 방법으로 수정되면 기존 인증 보증이 유지되지 않아 처음부터 다시 인증해야 한다. 이 또한 비용이 많이 든다.
이 논문에서는 Incremental Randomized Smoothing (IRS)라는 새로운 접근법을 제안한다. IRS는 원래 모델의 인증 결과를 재사용하여 유사한 모델의 인증을 효율적으로 수행한다.
IRS의 핵심 아이디어는 다음과 같다:
근사 모델과 원래 모델의 출력 차이를 나타내는 ζx를 추정하고, 이를 활용하여 근사 모델의 인증 반경을 계산한다.
ζx 추정은 기존 인증 샘플을 재사용하여 효율적으로 수행할 수 있다.
이를 통해 근사 모델의 인증 시간을 크게 단축할 수 있다.
실험 결과, IRS는 기존 방식 대비 최대 4.1배 빠른 인증 속도를 보였다. 또한 동일한 인증 반경을 달성하는 데 필요한 샘플 수를 크게 줄일 수 있었다.
Statystyki
양자화된 ResNet-110 모델에 대해 IRS는 기존 방식 대비 4.1배 빠른 인증 속도를 보였다.
양자화된 ResNet-50 모델에 대해 IRS는 기존 방식 대비 1.24배 빠른 인증 속도를 보였다.
Cytaty
"무작위 평활화 기반 강건성 인증은 효과적이지만 계산적으로 비용이 많이 든다."
"모델이 양자화나 가지치기 등의 방법으로 수정되면 기존 인증 보증이 유지되지 않아 처음부터 다시 인증해야 한다."