Grunnleggende konsepter
Kontinuierliches Entfernen spezifischer Informationen aus vortrainierten Sichtmodellen, während der Rest der Leistung erhalten bleibt.
Sammendrag
Der Artikel stellt ein neues Problem namens "kontinuierliches Vergessen" vor, bei dem spezifisches Wissen aus vortrainierten Sichtmodellen kontinuierlich entfernt werden muss, während der Rest der Leistung erhalten bleibt. Dies ist wichtig für den Schutz der Privatsphäre und die Reduzierung unerwünschter Modellverzerrungen in Anwendungen der echten Welt.
Um diese Herausforderung anzugehen, schlagen die Autoren eine Methode namens "Group Sparse LoRA (GS-LoRA)" vor. GS-LoRA verwendet LoRA-Module, um die FFN-Schichten in Transformer-Blöcken für jede Vergessensaufgabe unabhängig fein abzustimmen. Außerdem wird eine einfache Gruppensparsamkeitsregularisierung verwendet, um automatisch bestimmte LoRA-Gruppen auszuwählen und andere auf Null zu setzen.
Umfangreiche Experimente auf Gesichtserkennung und Objekterkennung zeigen, dass GS-LoRA in der Lage ist, spezifische Klassen effektiv zu vergessen, während die Leistung auf den verbleibenden Klassen minimal beeinträchtigt wird. GS-LoRA ist effektiv, parametereffizient, dateneffizient und einfach zu implementieren.
Statistikk
Die Entfernung unerwünschter Informationen aus vortrainierten Modellen ist für Datenschutz- und Sicherheitsbedenken in der Praxis zunehmend wichtig.
In Echtzeit-Szenarien kommen Löschanfragen jederzeit sowohl von Nutzern als auch von Modellbesitzern.
Kontinuierliches Vergessen erfordert effizientes und effektives Löschen von unerwünschtem Wissen sowie minimale Auswirkungen auf verbleibendes Wissen.
Sitater
"Für Datenschutz- und Sicherheitsbedenken wird die Notwendigkeit, unerwünschte Informationen aus vortrainierten Sichtmodellen zu löschen, heutzutage immer offensichtlicher."
"Wir definieren dieses Problem als kontinuierliches Vergessen und identifizieren zwei Schlüsselherausforderungen."