이 논문은 LLM(Large Language Model) 언러닝에서 최적화기법의 선택이 중요하다는 점을 밝히고, 두 번째 순서 최적화 기법인 SOUL을 제안한다.
LLM 언러닝은 모델에 포함된 원치 않는 데이터 영향력과 관련 기능을 제거하는 것을 목표로 한다. 기존 연구에서는 주로 첫 번째 순서 최적화 기법을 사용했지만, 이 논문에서는 두 번째 순서 최적화 기법이 언러닝 효과와 모델 유용성 유지에 있어 더 우수한 성능을 보인다는 것을 밝혔다.
SOUL은 두 번째 순서 클립 확률적 최적화(Sophia) 기반의 LLM 학습 방법을 확장한 것으로, 언러닝 목적 함수에 독립적이며 기존 접근법을 개선할 수 있다. 다양한 실험을 통해 SOUL이 언러닝 효과와 모델 유용성 유지 측면에서 기존 첫 번째 순서 최적화 기법보다 우수한 성능을 보임을 확인했다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Jinghan Jia,... at arxiv.org 04-30-2024
https://arxiv.org/pdf/2404.18239.pdfDeeper Inquiries