
대규모 언어 모델(LLM)에서 두 번째 순서 정보(Hessian)를 활용한 효과적인 언학습 알고리즘을 제안한다. 이를 통해 기존 방식들의 한계를 극복하고 언학습의 효과성과 모델 유틸리티를 동시에 보장할 수 있다.


coremsg

대규모-언어-모델에서-두-번째-순서-정보의-중요성-기계-언학습-재검토


대규모 언어 모델에서 두 번째 순서 정보의 중요성: 기계 언학습 재검토



기계 언학습은 특정 데이터 집합의 영향을 신경망 모델에서 제거하는 새로운 기술이다. 본 연구는 거리 기반 중심점 역학(DUCK)이라는 새로운 언학습 알고리즘을 제안한다. DUCK은 임베딩 공간에서 잘못된 중심점에 가까운 샘플을 제거하는 메트릭 러닝을 활용한다.



거리 기반 중심점 역학을 통한 기계 언학습
