Core Concepts
Verlustfreies Maschinenunlernen durch neue Methode
Abstract
Abstract:
- Vorstellung einer retraining- und label-freien Methode für das Maschinenunlernen.
- Vergleich mit bestehenden Ansätzen, insbesondere Selective Synaptic Dampening.
- Wettbewerbsfähigkeit mit State-of-the-Art-Methoden in Experimenten.
Einleitung & Verwandte Arbeiten:
- Notwendigkeit des Vergessens privater oder schädlicher Informationen in trainierten Modellen.
- Methoden zur Störung der Funktionszuordnung für zu vergessende Daten.
- Untersuchung von retraining-freien Ansätzen wie FisherForgetting und Selective Synaptic Dampening.
Methoden & Ergebnisse:
- Erweiterung des SSD-Ansatzes durch Sensitivitätsapproximation für das Unlernen.
- Berechnung der Parameterwichtigkeit für das Vergessen von Daten.
- Evaluation der Methode anhand von Experimenten mit ResNet18 und Vision Transformer.
Schlussfolgerung:
- Vorstellung einer leichten und effektiven Methode für das Maschinenunlernen.
- LFSSD als erste retraining-freie Methode, die nur unbeschriftete Daten erfordert.
Anhang:
- Sensitivitätsanalyse für LFSSD-Parameter.
- Szenarien ohne Labels für das Unlernen von Modellen.
Stats
Retrain: 100% Genauigkeit auf Dr-Daten
Df: 0% Genauigkeit auf zu vergessenden Daten
MIA: Membership Inference Attack
Quotes
"LFSSD ersetzt die Fisher-basierte Wichtigkeitsschätzung durch eine Sensitivitätsapproximation."
"LFSSD ist die erste retraining-freie Methode, die keine beschrifteten Daten und kein erneutes Training erfordert."