핵심 개념
선형 모델에서 규제를 유도하는 방법과 그 영향에 대한 분석
통계
"min z∈RN ∥Az − y∥2"는 최소 제곱 적합을 찾기 위한 방법을 설명합니다.
"min z∈RN ∥z∥1"은 ℓ1-정규화를 사용하여 희소성을 복구하는 문제를 다룹니다.
인용구
"Gradient descent tends to converge towards parameter configurations that generalize well, even when no regularization is applied at all."
"The implicit bias of gradient flow/descent towards solutions of simple and well-understood structures like sparsity or low rank."