Core Concepts
데이터 교란과 MinMax 훈련을 통해 임상시험 보고서에 대한 자연어 추론 모델의 강건성을 향상시킬 수 있다.
Abstract
이 연구는 SemEval-2024 Task 2에 참여하여 임상시험 보고서(CTR)에 대한 자연어 추론(NLI) 문제를 해결하고자 한다. 이를 위해 최신 대규모 언어 모델(LLM)인 Mistral 모델을 활용하고, 데이터 교란 기법과 MinMax 훈련 기법을 적용하였다.
데이터 교란 기법에는 숫자 및 약어 기반 교란이 포함되었다. 이를 통해 의미 변화와 숫자 모순 개입에 강건한 시스템을 구축할 수 있었다.
또한 MinMax 알고리즘을 활용하여 보조 모델을 도입함으로써, Mistral 모델이 어려운 입력 공간에 집중할 수 있도록 하였다. 이를 통해 의미 변화 개입에 대한 강건성이 향상되었다.
실험 결과 분석을 통해 임상시험 보고서의 특정 섹션(예: 부작용 섹션)과 개입 유형(예: 숫자 모순)이 모델에게 더 어려운 과제임을 확인하였다. 이는 향후 연구에서 이러한 부분에 더 집중할 필요가 있음을 시사한다.
Stats
부작용 섹션의 좌심실 수축 기능 저하 비율은 코호트 1이 코호트 2보다 높다.
코호트 1에서 좌심실 수축 기능 저하 발생률은 3761명 중 1명(0.03%)이고, 코호트 2에서는 3759명 중 0명(0.00%)이다.
Quotes
"LLM은 과제의 본질을 이해하지 못하고 얕은 어휘 휴리스틱에 의존하여 예측하는 경향이 있다."
"생물의학 분야에서는 오류 허용 범위가 최소화되어야 한다."