サインイン
インサイト - 差分プライベート機械学習
ノイズの多い集約埋め込みによる拡散モデルの差分プライベート適応
本稿では、大規模言語モデルへの適用が困難なDP-SGDを用いることなく、ノイズの多い集約埋め込みを用いることで、拡散モデルの差分プライベートな適応を実現する新しい手法を提案する。
確率的サドル点および変分不等式のためのプライベートアルゴリズム：ユークリッド幾何学を超えて
本論文では、ユークリッド空間と非ユークリッド空間の両方における、差分プライベートな確率的サドル点問題（SSP）および確率的変分不等式（SVI）に対する新しいアルゴリズムと解析手法を提案し、従来手法を超える性能向上を実現しました。
差分プライベートモデル学習のための帯付き平方根行列分解
本稿では、大規模な機械学習モデルの学習においても計算効率が高く、従来の最先端技術と同等の精度を達成できる新しい行列分解アプローチ、BSR (帯付き平方根行列分解) を提案する。
ノイズを考慮した差分プライベート変分推論
本稿では、差分プライバシー（DP）メカニズムによって導入されるノイズを考慮した、スケーラブルな近似ベイズ推論手法であるNA-DPVIを提案する。NA-DPVIは、DPVIから得られた勾配トレースを確率モデルを用いて事後処理することで、高次元データや非共役モデルにも適用可能である。
DiSK：ノイズ低減のための簡略化されたカルマンフィルターを用いた差分プライベートオプティマイザー
大規模な機械学習モデルの訓練における差分プライバシー（DP）の課題を克服するため、DiSKと呼ばれる新しいフレームワークが提案されています。DiSKは、カルマンフィルターを用いてプライベート化された勾配のノイズを除去し、正確な勾配推定を生成することで、DPオプティマイザーのパフォーマンスを大幅に向上させます。
© 2024 by Linnk AI