대규모 언어 모델 학습을 위한 메모리 효율적인 방법 Q-GaLore

Q-GaLore는 4비트 투영과 레이어 적응형 저차원 경사도를 사용하여 32GB GPU에서 70억 개 매개변수의 대규모 언어 모델을 처음부터 학습할 수 있게 해줍니다.