이 논문은 차별적 프라이버시 하에서 모델 미세 조정을 위한 새로운 방법인 DP-RAFT를 제안한다. 주요 내용은 다음과 같다:
학습률과 반복 횟수를 선형으로 조정하는 새로운 규칙을 제안했다. 이를 통해 기존 방법보다 성능을 크게 향상시킬 수 있었다.
모멘텀을 사용하여 수렴 속도를 높이고, 전체 배치 경사도를 계산하여 신호 대 잡음비를 최적화했다.
가중치를 0으로 초기화하고 클리핑 노름을 1로 설정하는 등 다양한 기법을 적용했다.
CIFAR10, CIFAR100, FashionMNIST, STL10 등의 벤치마크 데이터셋과 PersonaChat 데이터셋에서 새로운 최고 성능을 달성했다.
이러한 기법들을 통해 차별적 프라이버시 하에서도 비차별적 미세 조정과 유사한 성능을 달성할 수 있었다.
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések