Завантажити Linnk AI
•
Помічник з досліджень
>
Увійти
ідея
-
대규모 언어 모델 학습을 위한 메모리 효율적인 방법 Q-GaLore
16GB GPU로 처음부터 대규모 언어 모델 학습하기: Q-GaLore
Q-GaLore는 4비트 투영과 레이어 적응형 저차원 경사도를 사용하여 32GB GPU에서 70억 개 매개변수의 대규모 언어 모델을 처음부터 학습할 수 있게 해줍니다.
1
