Основні поняття
본 논문은 단일 연산자 네트워크 백본을 사용하여 불확실성을 가진 예측을 생성하는 NEON(Neural Epistemic Operator Networks)이라는 새로운 아키텍처를 소개한다. NEON은 기존 방법들에 비해 훨씬 적은 수의 학습 가능한 매개변수로도 유사한 성능을 달성할 수 있다.
Анотація
본 논문은 함수 공간에서의 복합 베이지안 최적화 문제를 다룬다. 이 문제에서는 입력 u ∈ X와 출력 y ∈ Y 사이의 관계를 나타내는 미지의 함수 h : X → C(Y, Rds)와, 이 함수 h를 이용해 계산되는 알려진 함수 g : C(Y, Rds) → R이 주어진다. 목표는 f = g ◦ h를 최적화하는 것이다.
논문에서는 NEON이라는 새로운 아키텍처를 제안한다. NEON은 기존의 연산자 학습 모델에 EpiNet이라는 작은 신경망을 추가하여 구성된다. EpiNet은 입력 u와 쿼리 포인트 y, 그리고 무작위 에피스테믹 인덱스 z를 입력으로 받아 예측의 불확실성을 추정한다. 이를 통해 단일 모델로 에피스테믹 불확실성을 정량화할 수 있으며, 기존 앙상블 기반 방법들에 비해 훨씬 적은 수의 학습 가능한 매개변수로도 유사한 성능을 달성할 수 있다.
논문에서는 NEON을 다양한 벤치마크 문제에 적용하여 실험을 수행했다. 실험 결과, NEON은 기존 최첨단 방법들과 비교하여 유사하거나 더 나은 성능을 보이면서도 1-2 orders of magnitude 적은 수의 학습 가능한 매개변수를 사용한다는 것을 확인했다.
Статистика
"NEON은 기존 최첨단 방법들에 비해 1-2 orders of magnitude 적은 수의 학습 가능한 매개변수를 사용한다."
"NEON은 유사하거나 더 나은 성능을 보인다."