이 연구는 사회적 건강 결정 요인(SDoH) 추출을 위해 인코더 기반 언어 모델 GatorTron과 디코더 기반 언어 모델 GatorTronGPT에 프롬프트 튜닝을 적용하였다. 2022년 n2c2 챌린지 데이터셋과 플로리다 대학교 헬스 데이터셋을 사용하여 기관 간 및 질병 간 전이 학습 성능을 평가하였다.
실험 결과, 디코더 기반 언어 모델에 프롬프트 튜닝을 적용한 모델이 기관 간 및 질병 간 응용 분야에서 더 나은 성능을 보였다. GatorTronGPT-20B-Ptuning 모델이 가장 우수한 F1 점수를 달성했으며, 기존 BERT와 GatorTron-345M 모델 대비 각각 9.7%, 8.9% 향상된 성능을 보였다. 또한 엔드-투-엔드 SDoH 개념 및 관계 추출에서도 GatorTronGPT-20B-Ptuning이 BERT와 GatorTron-345M 대비 각각 20.4%, 21.8% 향상된 성능을 보였다.
이 연구는 프롬프트 튜닝을 통해 대규모 생성 언어 모델의 기관 간 및 질병 간 전이 학습 능력을 향상시킬 수 있음을 보여준다. 특히 디코더 기반 언어 모델이 인코더 기반 모델보다 더 나은 성능을 보였다. 이는 생성 언어 모델이 프롬프트 튜닝을 통해 통합된 텍스트-투-텍스트 학습 아키텍처를 활용할 수 있기 때문인 것으로 보인다.
To Another Language
from source content
arxiv.org
Głębsze pytania