核心概念
신경기호 학습 시스템은 신경망 예측이 논리적 제약을 준수하도록 하기 위해 확률적 추론을 사용하지만, 이 과정에서 기호들의 확률이 입력에 대해 조건부 독립이라는 강한 가정을 한다. 이 가정은 최적화와 불확실성 정량화를 저해할 수 있다.
要約
이 논문은 신경기호 학습에서 널리 사용되는 조건부 독립성 가정의 문제점을 분석한다.
저자들은 먼저 이 가정이 신경망 모델을 결정론적 솔루션으로 편향시킨다는 것을 보였다. 이는 모델이 다수의 유효한 옵션에 대한 불확실성을 적절히 표현하지 못하게 한다.
이어서 논리와 계산 위상수학 도구를 활용하여 독립 분포의 가능한 집합의 구조를 특성화했다. 저자들은 이 집합이 일반적으로 볼록하지 않고 연결되어 있지 않음을 증명했다. 이는 독립 분포를 사용하는 신경기호 학습 방법의 손실 함수가 최적화하기 어렵다는 것을 의미한다.
이러한 이론적 분석은 조건부 독립성 가정을 대체하고 더 표현력 있는 신경기호 확률 모델을 설계하는 기반을 제공한다.
統計
신경기호 학습 시스템은 신경망 예측이 논리적 제약을 준수하도록 하기 위해 확률적 추론을 사용한다.
대부분의 신경기호 학습 방법은 기호들의 확률이 입력에 대해 조건부 독립이라는 강한 가정을 한다.
이 가정은 최적화와 불확실성 정량화를 저해할 수 있다.
引用
"신경기호 학습 시스템은 신경망 예측이 논리적 제약을 준수하도록 하기 위해 확률적 추론을 사용한다."
"대부분의 신경기호 학습 방법은 기호들의 확률이 입력에 대해 조건부 독립이라는 강한 가정을 한다."
"이 가정은 최적화와 불확실성 정량화를 저해할 수 있다."