이 논문은 정보 이론과 PAC-Bayes 접근법을 통해 기계 학습 알고리즘의 일반화 성능을 분석한다.
소개 부분에서는 일반화 문제와 정보 이론적 접근법의 동기를 설명한다. 정보 이론은 일반화 성능을 특성화하는 데 적합한 도구로 여겨진다.
정보 이론의 간략한 소개와 함께, 첫 번째 정보 이론적 일반화 경계 정리를 제시한다. 이 정리는 평균 일반화 오차를 상호 정보량으로 상한 짓는다.
이후 장에서는 정보 이론적 도구와 기법을 더 일반화하여, 기대값 및 확률 기반의 일반화 경계를 도출한다. PAC-Bayes 접근법과의 연결고리도 강조된다.
마지막으로 이러한 일반화 경계의 응용 사례와 확장된 학습 모델에 대해 다룬다.
To Another Language
from source content
arxiv.org
Deeper Inquiries