Keskeiset käsitteet
合成データを利用した差分プライベートな知識蒸留アルゴリズムの提案と効果的な実装方法。
Tiivistelmä
大規模言語モデル(LLMs)は、多くの下流タスクで最先端のパフォーマンスを達成しています。しかし、データプライバシーの増加に伴い、LLMsはプライベートデータで差分プライバシー(DP)でトレーニングする必要があります。同時に、リソース制約のあるデバイスやレイテンシーに敏感なアプリケーションへの実際の展開のためにLLMsを圧縮する必要があります。この記事では、合成データを活用した新しい差分プライベートな知識蒸留アルゴリズムが提案されています。このフレームワークは、教師モデルから生徒への知識移転を可能にし、既存の基準線よりも優れた効用を示しています。
Tilastot
ϵ = 2, プライバシーパラメータで強力な基準線よりも優れた効用を示す。
合計400K個の合成サンプルが生成される。
ビジネスカテゴリやレビュースコアなどの制御コードが使用される。
Lainaukset
"私たちの結果は、厳格なプライバシー設定において最良の効用を得られることを示しています。"
"合成テキストと教師モデルから生徒へ移される知識は重要です。"
"我々は他の形式の知識蒸留も考慮しましたが、出力分布と隠れ表現から抽出された情報が重要であることが明らかになりました。"