이 논문은 대규모 언어 모델(LLM)에서의 디지털 망각에 대해 다룹니다.
먼저 LLM의 구성 요소, 유형, 학습 파이프라인에 대해 설명합니다.
다음으로 디지털 망각의 동기, 유형, 요구 사항을 다룹니다. 디지털 망각이 필요한 이유로는 프라이버시 보호, 저작권 보호, 모델 강건성, 인간 가치와의 정렬 등이 있습니다. 디지털 망각의 유형에는 일반적인 망각 요청, 항목 제거 요청, 특징/개념 제거 요청, 클래스 제거 요청, 작업 제거 요청 등이 있습니다. 디지털 망각에 대한 요구 사항으로는 망각 보장, 일반화, 성능 유지, 실행 시간 및 확장성 등이 있습니다.
이어서 LLM에서의 디지털 망각 접근법을 소개합니다. 데이터 전처리 및 모델 재학습, 프라이버시 보존 모델 사전 학습, 기계 언러닝, 프롬프트 엔지니어링, 사후 처리 등의 방법이 있습니다.
마지막으로 기계 언러닝 방법을 자세히 다룹니다. 전역 가중치 수정, 지역 가중치 수정, 아키텍처 수정, 입력/출력 수정 등 4가지 주요 범주로 분류하고 각각의 세부 기법을 설명합니다.
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by Albe... klokken arxiv.org 04-03-2024
https://arxiv.org/pdf/2404.02062.pdfDypere Spørsmål