본 논문은 표준 Q-러닝 및 부드러운 Q-러닝 변형 알고리즘의 점근적 수렴성을 통합적으로 분석한다. 이를 위해 p-노름을 리아푸노프 함수로 사용하는 ODE 모델을 제안하고, 이를 통해 다양한 Q-러닝 알고리즘의 수렴성을 단일 프레임워크에서 다룰 수 있다.