언어 모델링 과제에서 AdamW의 내재적 편향

AdamW는 매개변수의 ℓ∞ 노름이 제한된 최적화 문제의 KKT 점으로 수렴한다.