Core Concepts
대규모 차원에서 커널 보간법의 분산과 편향의 정확한 수렴 속도를 제공하고, 이를 바탕으로 최소최대 최적성, 부최적성, 비일관성 영역을 규명한다.
Abstract
이 논문은 대규모 차원에서 커널 보간법의 일반화 오차에 대한 정확한 수렴 속도를 분석합니다. 구체적으로:
구면 상의 내적 커널을 고려하며, 다양한 smoothness 조건 s ≥ 0 하에서 커널 보간법의 분산과 편향 항의 정확한 수렴 속도를 제공합니다.
이를 바탕으로 (s, γ)-위상 다이어그램을 도출하여, 커널 보간법이 최소최대 최적, 부최적, 비일관성 영역을 규명합니다.
기존 연구와 달리, 본 논문은 커널 보간법의 하한 bound를 엄밀히 분석하여, 최적성 여부를 판단합니다.
대규모 차원에서 커널 보간법이 어떤 경우에 최적이고, 어떤 경우에 부최적인지를 명확히 밝혀냅니다. 이는 "유익한 과적합 현상"에 대한 이론적 설명에 기여할 것으로 기대됩니다.
Stats
표본 크기 n과 차원 d는 n ≍ dγ의 관계를 가진다.
참 함수 f*의 [H]s 노름은 Rγ 이하이다.
참 함수 f*의 처음 l = ⌊γ⌋개 eigenspace와 l, l+1번째 eigenspace의 L2 노름은 c0 이상이다.
Quotes
"대규모 차원에서 커널 보간법의 일반화 능력은 최근 커널 회귀에서 가장 흥미로운 문제 중 하나일 수 있다."
"우리는 다양한 source condition s ≥ 0 하에서 대규모 차원 커널 보간법의 분산과 편향의 정확한 차수를 완전히 특성화했다."
"우리는 (s, γ)-위상 다이어그램을 얻었다, 즉 커널 보간법이 최소최대 최적, 부최적, 비일관성 영역을 결정했다."