Conceptos Básicos
고차원 변수에 의존하는 매끄러운 목표 함수를 유한 개의 점별 샘플로부터 효율적으로 학습하는 방법을 제시한다.
Resumen
이 논문은 고차원 변수에 의존하는 매끄러운 목표 함수를 유한 개의 점별 샘플로부터 효율적으로 학습하는 문제를 다룬다.
- 동기와 과제:
- 매개변수 모델, 매개변수 미분방정식, 계산적 불확실성 정량화 등의 응용에서 고차원 변수에 의존하는 매끄러운 목표 함수를 학습하는 문제가 중요해졌다.
- 이 문제는 고차원 또는 무한차원 변수, 함수 평가의 비용 문제, 데이터 부족 등의 어려움이 있다.
- 홀로모픽 함수:
- 매개변수 미분방정식 문제에서 목표 함수는 일반적으로 홀로모픽 함수이다.
- (b, ε)-홀로모픽 함수 클래스를 정의하고, 이 클래스의 중요성을 설명한다.
- 알려진 이방성과 알려지지 않은 이방성 설정을 구분한다.
- 최적 s-항 다항식 근사:
- 직교 다항식 전개와 최적 s-항 다항식 근사를 소개한다.
- 홀로모픽 함수에 대한 최적 s-항 다항식 근사의 대수적 수렴 속도를 제시한다.
- 데이터에서 학습의 한계:
- 정보 기반 복잡도 이론을 사용하여 데이터에서 홀로모픽 함수를 학습하는 데 있어 근본적인 한계를 보여준다.
- 희소 다항식 근사 학습:
- 압축 센싱 기술을 활용하여 데이터에서 희소 다항식 근사를 학습하는 방법을 제시한다.
- 이 방법이 최적 근사 속도에 근접함을 보인다.
- 심층 신경망 존재 이론:
- 심층 신경망의 근사 이론을 간단히 소개한다.
- 홀로모픽 함수에 대한 심층 신경망 존재 정리를 제시한다.
- 실용적 존재 이론:
- 실용적 존재 이론을 통해 데이터에서 최적에 가까운 심층 신경망을 학습할 수 있음을 보인다.
- 이론과 실제의 격차:
- 실용적 존재 이론이 완전히 훈련된 심층 신경망의 성능을 설명하지 못함을 지적한다.
- 향후 연구 방향을 제시한다.
Estadísticas
매개변수 미분방정식 문제에서 목표 함수는 일반적으로 (b, ε)-홀로모픽이다.
최적 s-항 다항식 근사의 L2
ϱ 오차는 s1/2-1/p 의 대수적 속도로 감소한다.
데이터에서 홀로모픽 함수를 학습하는 것은 근본적으로 어렵다. 즉, m개의 선형 샘플로부터 L2
ϱ 오차가 m1/2-1/p 보다 빨리 감소하는 방법은 없다.
희소 다항식 근사 학습 방법은 m1/2-1/p-ε의 오차 감소 속도를 달성한다.
실용적 존재 이론에 따르면 m1/2-1/p-ε의 오차 감소 속도를 달성하는 심층 신경망 학습 방법이 존재한다.
Citas
"Learning approximations to smooth target functions of many variables from finite sets of pointwise samples is an important task in scientific computing and its many applications in computational science and engineering."
"Despite well over half a century of research on high-dimensional approximation, this remains a challenging problem."
"Significant advances have been made in the last decade towards efficient methods for doing this, commencing with so-called sparse polynomial approximation methods and continuing most recently with methods based on Deep Neural Networks (DNNs)."