Core Concepts
부분 개념 병목 모델(PCBM)은 기존 개념 병목 모델(CBM)보다 베이지안 일반화 오차가 더 작다.
Abstract
이 논문은 부분 개념 병목 모델(PCBM)의 베이지안 일반화 오차에 대한 이론적 분석을 수행했다.
주요 내용은 다음과 같다:
PCBM은 CBM에 비해 개념을 부분적으로만 관측하는 구조를 가지고 있다.
3층 선형 신경망 구조에서 PCBM의 실수 로그 정준 임계값(RLCT)을 분석하여 CBM의 RLCT보다 작다는 것을 증명했다.
RLCT를 이용해 PCBM의 베이지안 일반화 오차의 상한을 도출했으며, 이것이 CBM의 오차 상한보다 작다는 것을 보였다.
이를 통해 PCBM이 CBM보다 일반화 성능이 우수함을 이론적으로 입증했다.
Stats
PCBM의 RLCT는 λP ≦ λR(M, H1, N, rank(A0
1B0
1)) + H2(M + N)/2 이다.
CBM의 RLCT는 λC = H(M + N)/2 이다.
따라서 PCBM의 베이지안 일반화 오차 GP는 CBM의 오차 GC보다 작다: GP ≦ GC + o(1/n).
Quotes
"부분 개념 병목 모델(PCBM)은 기존 개념 병목 모델(CBM)보다 일반화 성능이 우수하다."
"PCBM의 실수 로그 정준 임계값(RLCT)은 CBM의 RLCT보다 작다."
"PCBM의 베이지안 일반화 오차는 CBM의 오차 상한보다 작다."