Conceitos essenciais
2層の多項式活性化ネットワークとReLU活性化ネットワークに対する、効率的で保証された敵対的トレーニングのための新しい凸最適化手法が提案されています。
Resumo
2層多項式およびReLU活性化ネットワークの凸最適化による敵対的トレーニング
この論文は、深層学習、特に安全性が重要な場面で広く使われている過剰パラメータ化されたモデルにおいて、敵対的攻撃に対するロバスト性を備えたニューラルネットワークのトレーニングが重要な課題であることを指摘しています。
本研究は、2層のReLUおよび多項式活性化ネットワークのトレーニング問題を凸計画問題として再定式化し、多項式活性化ネットワークの敵対的トレーニングのための凸半正定値計画問題(SDP)を考案し、その凸SDPが非凸の敵対的トレーニング問題と同じ大域的に最適な解を達成することを証明することを目的としています。
本研究では、既存の研究に基づき、2層のReLUおよび多項式活性化ネットワークのトレーニング問題を凸計画問題として再定式化します。具体的には、多項式活性化ネットワークの敵対的トレーニングのための凸SDPを考案し、そのSDPが非凸の敵対的トレーニング問題と同じ大域的に最適な解を達成することを証明します。また、標準的な機械学習ライブラリやGPUアクセラレーションに対応した、2層の多項式およびReLUネットワークの敵対的トレーニングのためのスケーラブルな実装を提示します。