Core Concepts
テスト時適応(TTA)は、訓練データと検査データの分布のずれに対処するための有望な解決策であるが、適応性の高さが脆弱性を生み出す可能性がある。本研究では、平均ではなく中央値を用いたバッチノーマライゼーション(MedBN)を提案し、既存のTTA手法に統合することで、悪意のあるサンプルに対する頑強性を大幅に向上させる。
Abstract
本論文では、テスト時適応(TTA)の脆弱性に対処するため、MedBNを提案している。
- TTAは訓練データと検査データの分布のずれに対処するための有効な手法だが、適応性の高さが脆弱性を生み出す可能性がある。
- 既存のTTA手法は平均を用いてバッチノーマライゼーション(BN)の統計量を推定しているが、これは単一の悪意のあるサンプルによって容易に操作される可能性がある。
- 一方、中央値は多数の悪意のあるサンプルによる操作に対して頑強であることを理論的に示した。
- MedBNは、BNの統計量推定に中央値を用いることで、既存のTTA手法に統合することで、悪意のあるサンプルに対する頑強性を大幅に向上させる。
- 実験結果から、MedBNは様々なTTA手法に統合することで、悪意のあるサンプルに対する頑強性を大幅に向上させることが示された。
Stats
単一の悪意のあるサンプルでも平均を容易に操作できるが、中央値は多数の悪意のあるサンプルによる操作に対して頑強である。
既存のTTA手法は悪意のあるサンプルに対して脆弱であり、MedBNを統合することで大幅な改善が見られた。
Quotes
"Test-time adaptation (TTA) has emerged as a promising solution to address performance decay due to unforeseen distribution shifts between training and test data."
"Recent works [11,54] have revealed the vulnerability of TTA methods that use the test batch statistics. By injecting small portions of malicious samples into the test batch, an adversary can easily manipulate the test batch statistics and also predictions on other (benign) samples, constituting a data poisoning attack."
"Inspired by a theoretical analysis comparing mean and median, we propose MedBN, a simple and effective robust batch normalization method, which uses the median instead of the mean to estimate the batch statistics."