본 연구는 SemEval-2024 Task 2: Safe Biomedical Natural Language Inference for Clinical Trials에 참여한 SEME 팀의 제출 내용을 설명한다. 이 과제는 임상시험 보고서(CTR)에 대한 자연어 추론(NLI) 모델의 일관성과 충실도를 평가하는 텍스트 함축 작업이다.
연구팀은 두 가지 접근법을 시험하였다:
MLM 접근법에서는 일반 도메인 및 의료 도메인 사전 훈련 모델을 fine-tuning하고 앙상블링하였다. LLM 접근법에서는 Flan-T5-large 모델에 대해 Zero-shot, 1-shot, 2-shot 설정으로 프롬팅하였으며, Chain-Of-Thought와 Contrastive Chain-Of-Thought 기법을 활용하였다.
두 접근법 중 Flan-T5-large에 2-shot 프롬팅을 적용한 모델이 가장 좋은 성능을 보였, F1 점수 0.57, 충실도 0.64, 일관성 0.56을 달성하였다. 이는 SemEval-2024 Task 2 리더보드에서 각각 27위, 18위, 25위에 해당한다.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Mathilde Agu... om arxiv.org 04-08-2024
https://arxiv.org/pdf/2404.03977.pdfDiepere vragen