대규모 모델 학습을 위한 효율적인 Adam 최적화기: 무작위 저차원 행렬을 활용한 적응형 근사

Adapprox는 Adam 최적화기의 두 번째 모멘트를 무작위 저차원 행렬 근사를 통해 효과적으로 근사하여 메모리 사용량을 크게 줄이면서도 성능 저하를 최소화하는 새로운 접근법이다.