Core Concepts
ランダム化スムージングを用いた深層ニューラルネットワークのロバスト性認証を効率的に行うための増分的なアプローチを提案する。元の深層ネットワークの認証結果を再利用することで、近似ネットワークの認証を高速に行うことができる。
Abstract
本論文では、ランダム化スムージングを用いた深層ニューラルネットワークのロバスト性認証を効率的に行うための増分的なアプローチ(IRS)を提案している。
まず、多くの実用的な近似手法では、元のネットワークとの出力の違いが小さいことを示している。次に、ネットワーク出力の違いを表す指標ζxを効率的に推定できることを示している。最後に、ζxを用いて元のネットワークの認証結果を再利用し、近似ネットワークの認証を高速に行うことができることを示している。
具体的には以下の3つの洞察に基づいてIRSアルゴリズムを設計している:
多くの近似手法では、元のネットワークとの出力の違いを表すζxが小さい
ζxの推定には、pAやpBの推定に比べて少ないサンプル数で済む
ζxを用いて、元のネットワークの認証結果から近似ネットワークの認証結果を導出できる
IRSは、ResNet-20、ResNet-110(CIFAR10)、ResNet-50(ImageNet)などの大規模ネットワークに対して、量子化や剪枝などの近似手法を適用した際に、ベースラインと比べて最大4.1倍の高速化を達成している。
Stats
量子化や剪枝を適用したResNet-110(CIFAR10)では、ζxの平均値が0.009~0.010程度であった。
量子化や剪枝を適用したResNet-50(ImageNet)では、ζxの平均値が0.006~0.008程度であった。