Core Concepts
公開データを不可解な例として証明するための機構を提案する。この機構は、未知の不正な分類器の最良のクリーンタスクパフォーマンスを上限として保証する。
Abstract
本論文では、公開データを不可解な例として証明するための機構を提案する。この機構は、未知の不正な分類器の最良のクリーンタスクパフォーマンスを上限として保証する。
まず、(𝑞,𝜂)-Learnabilityという概念を導入し、これを用いて公開データの不可解性を証明する。(𝑞,𝜂)-Learnabilityは、パラメータ空間内の分類器の最良のクリーンタスクパフォーマンスを確率𝑞で上限として保証する。
次に、(𝑞,𝜂)-Learnabilityをより厳密に評価するための手法を提案する。さらに、(𝑞,𝜂)-Learnabilityを低減させる不可解な例(Provably Unlearnable Examples, PUEs)を設計する。
実験の結果、PUEsは既存の不可解な例と比べて、(𝑞,𝜂)-Learnabilityが低く、経験的なロバスト性も高いことが示された。ImageNetでは最大18.9%、CIFAR-100では最大54.4%の(𝑞,𝜂)-Learnabilityの低減が達成された。
Stats
不可解な例を用いて訓練したResNet-18分類器のCIFAR10クリーンテストの正解率は約0.1
5-10%のCIFAR10トレーニングデータを用いて微調整することで、正解率を約0.8まで回復できる
Quotes
既存の不可解な例は、分類器パラメータの不確定性に対して頑健ではなく、その信頼性を保証できない。
不可解な例の性能を認証する仕組みが重要である。