이 논문은 신경-상징적 재귀 기계(NSR)를 소개한다. NSR의 핵심은 훈련 데이터에서 직접 조합적 구문과 의미를 학습할 수 있는 기반 기호 시스템(GSS)이다. NSR은 신경 지각, 구문 분석, 의미 추론 모듈로 구성된 모듈식 설계를 가지고 있다. 이 모듈들은 귀납적 편향인 등가성과 조합성을 가지고 있어, 다양한 시퀀스-투-시퀀스 작업에서 탁월한 체계적 일반화 성능을 보여준다.
NSR의 end-to-end 최적화를 위해, 내부 GSS에 대한 주석이 없고 모델의 비차별 가능한 구성 요소가 있어 어려움이 있다. 이를 해결하기 위해 확률적 학습 프레임워크와 새로운 연역-가설 알고리즘을 고안했다. 이 알고리즘은 초기 GSS를 생성한 후 상향식 검색 기반 가설 탐색을 통해 정확한 GSS를 찾는다.
NSR의 성능은 SCAN, PCFG, HINT 벤치마크를 통해 검증되었다. NSR은 이 벤치마크에서 새로운 기록을 수립했으며, SCAN과 PCFG에서 100% 일반화 정확도를, HINT에서 이전 최고 정확도를 23% 향상시켰다. 추가로 복합적 기계 번역 작업에서도 100% 일반화 정확도를 달성했다. 이는 NSR의 모듈식 설계와 내재적 귀납적 편향이 기존 신경망 모델보다 강력한 일반화와 향상된 전이 학습 능력을 제공한다는 것을 보여준다.
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by Qing Li,Yixi... klokken arxiv.org 04-30-2024
https://arxiv.org/pdf/2210.01603.pdfDypere Spørsmål