적응형 그라디언트 방법에서 제곱근을 제거할 수 있을까? 두 번째 순서 관점

제곱근이 없는 새로운 적응형 방법이 SGD와의 일반화 갭을 줄이고 변환기에서의 성능을 유지하는 것을 발견했습니다.