Core Concepts
본 논문에서는 사전 학습된 언어 모델에서 컨볼루션 신경망과 대조적 해싱을 사용하여 레이블이 지정되지 않은 구문 트리를 효율적으로 추출하는 방법을 제시합니다.
Abstract
언어 모델의 해싱을 통한 구문 유도에 관하여
본 연구 논문에서는 사전 학습된 언어 모델에서 암시적으로 유도된 문법을 활용하여 원시 텍스트에서 구문 분석 트리를 추론하는 혁신적인 방법을 제시합니다. 저자들은 구문 정보를 효율적으로 캡처하고 활용하기 위해 이진 표현을 활용하는 데 중점을 둡니다.
본 연구의 주요 목표는 레이블이 지정된 트리뱅크에 대한 학습 없이 사전 학습된 언어 모델에서 구문 분석기를 유도하는 것입니다. 즉, 명시적인 구문 주석 없이 텍스트에서 구문 구조를 추출하는 것을 목표로 합니다.
저자들은 구문 분석 트리를 추론하기 위해 몇 가지 새로운 방법을 제안합니다. 먼저 어휘 및 구문을 통합 이진 표현 공간에 인코딩하기 위해 비트 수준 CKY를 0차에서 1차로 업그레이드합니다. 둘째, 대조적 해싱 프레임워크 내에서 지도 학습에서 비지도 학습으로 전환합니다. 마지막으로 더 강력하면서도 균형 잡힌 정렬 신호를 부과하기 위해 새로운 손실 함수를 도입합니다.
핵심은 대조적 해싱 프레임워크 내에서 비지도 학습을 용이하게 하기 위해 비트 수준 CKY(Cocke-Kasami-Younger) 알고리즘을 수정하는 것입니다. 이 모델은 두 개의 주요 구성 요소, 즉 해시 계층과 1차 비트 수준 CKY 모듈로 구성됩니다. 해시 계층은 모든 범위에 대한 점수를 생성하는 반면, 후속 1차 비트 수준 CKY는 주변 확률을 반환하고 가장 가능성이 높은 트리를 예측합니다.