核心概念
プリトレーニングされた音声エンコーダモデルに対して、雑音マスキング攻撃を行うことで、モデルが学習時に見たことのある機密情報を抽出できることを示す。また、この攻撃の精度を高める手法と、攻撃を軽減するための対策を提案する。
要約
本研究では、プリトレーニングされた音声エンコーダモデルに対して、雑音マスキング攻撃を行うことで、モデルが学習時に見たことのある機密情報を抽出できることを示した。
具体的な手順は以下の通り:
プリトレーニングされた音声エンコーダモデルEを入手する。
別のデータセットを使ってEをASRモデルMにファインチューニングする。
Mに対して雑音マスキング攻撃を行う。これにより、プリトレーニングデータに含まれていた機密情報を抽出できる。
また、攻撃の精度を高めるために、トランスクリプトベースの抽出と一致ベースの抽出を組み合わせる手法を提案した。
さらに、データサニタイゼーション、プリトレーニングの変更、重複除去などの対策を検討し、その有効性を評価した。データサニタイゼーションが最も効果的な対策であることが分かった。
統計
雑音マスキング攻撃により、プリトレーニングデータに含まれていた正確な名称を1-2%の精度で抽出できた。
抽出精度を高めるための手法を適用すると、正確な名称の抽出精度が最大で8.5%まで向上した。
引用
"プリトレーニングされた音声エンコーダモデルに対して、雑音マスキング攻撃を行うことで、モデルが学習時に見たことのある機密情報を抽出できる。"
"データサニタイゼーションが最も効果的な対策であることが分かった。"