מושגי ליבה
사전 학습 모델에서 원치 않는 정보를 지속적으로 제거하면서 나머지 정보는 유지하는 방법을 제안한다.
תקציר
이 논문은 사전 학습 모델에서 원치 않는 정보를 지속적으로 제거하는 새로운 문제인 "지속적 망각"을 제안한다.
원치 않는 지식을 효율적이고 효과적으로 삭제하는 것이 중요하다.
나머지 지식에 미치는 영향을 최소화해야 한다.
이를 위해 Group Sparse LoRA (GS-LoRA)를 제안한다:
각 망각 작업에 대해 LoRA 모듈을 사용하여 Transformer 블록의 FFN 레이어를 미세 조정한다.
그룹 희소 정규화를 사용하여 특정 LoRA 그룹을 자동으로 선택하고 나머지는 0으로 만든다.
실험 결과, GS-LoRA는 얼굴 인식과 객체 탐지 작업에서 특정 클래스를 효과적으로 망각하면서 다른 클래스의 성능을 유지할 수 있음을 보여준다.
סטטיסטיקה
사전 학습 모델은 100개 클래스를 인식할 수 있다.
망각 후 모델은 90개 클래스만 인식할 수 있게 되었다.
나머지 10개 클래스에 대한 정확도는 70.5%로 유지되었다.
ציטוטים
"For privacy and security concerns, the need to erase un-wanted information from pre-trained vision models is becoming evident nowadays."
"We define this problem as continual forgetting and identify two key challenges. (i) For unwanted knowledge, efficient and effective deleting is crucial. (ii) For remaining knowledge, the impact brought by the forgetting procedure should be minimal."