과적합 모델에서도 일반화 성능이 우수한 모델이 존재하며, 이는 모델의 "부드러움"으로 특징지을 수 있다. 부드러운 모델은 경험적 손실과 기대 손실의 차이가 작으며, 이는 모델의 율함수(rate function)로 정량화할 수 있다.