이 논문은 신경-상징적 재귀 기계(NSR)를 소개한다. NSR의 핵심은 훈련 데이터에서 직접 조합적 구문과 의미를 학습할 수 있는 기반 기호 시스템(GSS)이다. NSR은 신경 지각, 구문 분석, 의미 추론 모듈로 구성된 모듈식 설계를 가지고 있다. 이 모듈들은 귀납적 편향인 등가성과 조합성을 가지고 있어, 다양한 시퀀스-투-시퀀스 작업에서 탁월한 체계적 일반화 성능을 보여준다.
NSR의 end-to-end 최적화를 위해, 내부 GSS에 대한 주석이 없고 모델의 비차별 가능한 구성 요소가 있어 어려움이 있다. 이를 해결하기 위해 확률적 학습 프레임워크와 새로운 연역-가설 알고리즘을 고안했다. 이 알고리즘은 초기 GSS를 생성한 후 상향식 검색 기반 가설 탐색을 통해 정확한 GSS를 찾는다.
NSR의 성능은 SCAN, PCFG, HINT 벤치마크를 통해 검증되었다. NSR은 이 벤치마크에서 새로운 기록을 수립했으며, SCAN과 PCFG에서 100% 일반화 정확도를, HINT에서 이전 최고 정확도를 23% 향상시켰다. 추가로 복합적 기계 번역 작업에서도 100% 일반화 정확도를 달성했다. 이는 NSR의 모듈식 설계와 내재적 귀납적 편향이 기존 신경망 모델보다 강력한 일반화와 향상된 전이 학습 능력을 제공한다는 것을 보여준다.
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問