本研究では、CIFAR10 画像分類器の敵対的ロバスト性に関する拡張法則を導出し、その限界を明らかにした。
まず、モデルサイズ、データセットサイズ、合成データの品質がロバスト性にどのように影響するかを分析した。その結果、これらの要因を最適化しても、ロバスト性は人間レベルの90%程度に収束することが分かった。
次に、人間による小規模な評価実験を行い、敵対的攻撃によって生成された画像の約10%が無効であることを発見した。つまり、これらの画像は元のラベルに適合しておらず、人間も正しく分類できない。従来の評価手法ではこの問題が見過ごされていたため、ベンチマークの結果が人間レベルの性能を正しく反映していないことが明らかになった。
今後の課題として、敵対的攻撃の定式化を改善し、画像の有効性を考慮したベンチマークの設計が重要であると指摘している。また、より効率的なアルゴリズムの開発によって、人間レベルのロバスト性を実現する可能性についても言及している。
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문