이 논문은 구조화된 사전 훈련 변환기(GPST)라는 비지도 통사 언어 모델을 제안한다. GPST는 두 가지 주요 구성 요소로 이루어져 있다:
GPST는 기존 SLM의 한계를 극복하기 위해 다음과 같은 접근법을 사용한다:
실험 결과, GPST는 GPT-2와 비교하여 언어 이해, 생성, 비지도 구문 분석 등 다양한 작업에서 우수한 성능을 보였다. 또한 기존 비지도 SLM 대비 약 60배 빠른 학습 속도를 달성했다.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Xiang Hu,Pen... klo arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.08293.pdfSyvällisempiä Kysymyksiä