이 논문은 RePU(Rectified Power Unit) 활성화 함수를 사용한 신경망의 특성을 연구한다. 주요 내용은 다음과 같다:
RePU 신경망의 부분 미분은 RePU 혼합 활성화 신경망으로 표현될 수 있으며, 이에 대한 복잡도 상한을 도출하였다. 이는 점수 추정 및 등적 회귀 문제 등 미분이 필요한 문제에 적용할 수 있다.
RePU 신경망이 Cs 클래스의 smooth 함수와 그 미분을 동시에 근사할 수 있음을 보였다. 또한 데이터가 저차원 부분 공간에 집중되어 있을 때 차원의 저주를 완화할 수 있음을 보였다.
이를 바탕으로 deep score matching 추정기와 penalized deep isotonic regression 방법을 제안하고, 이에 대한 통계적 학습 이론을 개발하였다. 특히 등적 회귀 문제에서 RePU 신경망은 단조성 제약을 효과적으로 다룰 수 있다.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Guohao Shen,... lúc arxiv.org 04-23-2024
https://arxiv.org/pdf/2305.00608.pdfYêu cầu sâu hơn