저차원 적응(LoRA) 기법과 가우시안 확률적 가중치 평균화(SWAG) 방법을 결합하여 대규모 언어 모델의 일반화 성능과 보정 능력을 향상시킬 수 있다.
대규모 언어 모델은 제한된 데이터로 도메인 특화 작업에 적용될 때 과도한 확신을 보이는 문제가 있다. 본 연구는 이를 해결하기 위해 백프로퍼게이션을 통해 저차원 가변 분포의 평균과 공분산을 동시에 학습하는 베이지안 저차원 적응 기법(BLoB)을 제안한다.