저비용 저정밀도 전략을 통한 대규모 언어 모델 학습

저정밀도 부동소수점 표현을 활용하여 대규모 언어 모델 학습의 계산 비용과 메모리 사용을 줄이면서도 모델 성능을 유지할 수 있는 COLLAGE 알고리즘을 제안한다.