
저차원 적응(LoRA) 기법과 가우시안 확률적 가중치 평균화(SWAG) 방법을 결합하여 대규모 언어 모델의 일반화 성능과 보정 능력을 향상시킬 수 있다.


coremsg

대규모-언어-모델의-베이지안-저차원-적응을-위한-가우시안-확률적-가중치-평균화


대규모 언어 모델의 베이지안 저차원 적응을 위한 가우시안 확률적 가중치 평균화



대규모 언어 모델은 제한된 데이터로 도메인 특화 작업에 적용될 때 과도한 확신을 보이는 문제가 있다. 본 연구는 이를 해결하기 위해 백프로퍼게이션을 통해 저차원 가변 분포의 평균과 공분산을 동시에 학습하는 베이지안 저차원 적응 기법(BLoB)을 제안한다.



대규모 언어 모델의 베이지안 저차원 적응을 통한 효율적인 학습 및 불확실성 추정
