核心概念
LLM 언러닝에서 최적화기법의 선택이 중요하며, 두 번째 순서 최적화 기법인 SOUL이 기존 첫 번째 순서 최적화 기법보다 언러닝 효과와 모델 유용성 유지에 있어 우수한 성능을 보인다.
摘要
이 논문은 LLM(Large Language Model) 언러닝에서 최적화기법의 선택이 중요하다는 점을 밝히고, 두 번째 순서 최적화 기법인 SOUL을 제안한다.
LLM 언러닝은 모델에 포함된 원치 않는 데이터 영향력과 관련 기능을 제거하는 것을 목표로 한다. 기존 연구에서는 주로 첫 번째 순서 최적화 기법을 사용했지만, 이 논문에서는 두 번째 순서 최적화 기법이 언러닝 효과와 모델 유용성 유지에 있어 더 우수한 성능을 보인다는 것을 밝혔다.
SOUL은 두 번째 순서 클립 확률적 최적화(Sophia) 기반의 LLM 학습 방법을 확장한 것으로, 언러닝 목적 함수에 독립적이며 기존 접근법을 개선할 수 있다. 다양한 실험을 통해 SOUL이 언러닝 효과와 모델 유용성 유지 측면에서 기존 첫 번째 순서 최적화 기법보다 우수한 성능을 보임을 확인했다.
統計資料
언러닝 대상 데이터를 제거하면 모델의 성능이 크게 저하된다.
SOUL을 사용하면 언러닝 효과가 크게 향상되며, 모델 유용성도 잘 유지된다.
SOUL은 기존 첫 번째 순서 최적화 기법 대비 BLEU 점수를 0.21 감소시켜 저작권 침해 정보 제거에 효과적이다.
SOUL을 사용하면 모델의 perplexity와 제로샷 정확도가 향상되어 유용성이 개선된다.
引述
"LLM 언러닝에서 최적화기법의 선택이 중요하며, 두 번째 순서 최적화 기법인 SOUL이 기존 첫 번째 순서 최적화 기법보다 언러닝 효과와 모델 유용성 유지에 있어 우수한 성능을 보인다."
"SOUL은 두 번째 순서 클립 확률적 최적화(Sophia) 기반의 LLM 학습 방법을 확장한 것으로, 언러닝 목적 함수에 독립적이며 기존 접근법을 개선할 수 있다."