登入
洞見 - 대규모 언어 모델의 베이지안 저차원 적응
대규모 언어 모델의 베이지안 저차원 적응을 위한 가우시안 확률적 가중치 평균화
저차원 적응(LoRA) 기법과 가우시안 확률적 가중치 평균화(SWAG) 방법을 결합하여 대규모 언어 모델의 일반화 성능과 보정 능력을 향상시킬 수 있다.
대규모 언어 모델의 베이지안 저차원 적응을 통한 효율적인 학습 및 불확실성 추정
대규모 언어 모델은 제한된 데이터로 도메인 특화 작업에 적용될 때 과도한 확신을 보이는 문제가 있다. 본 연구는 이를 해결하기 위해 백프로퍼게이션을 통해 저차원 가변 분포의 평균과 공분산을 동시에 학습하는 베이지안 저차원 적응 기법(BLoB)을 제안한다.
