Conceitos Básicos
도메인 적응 언어 모델 시스템(RadLing-System)이 범용 언어 모델 시스템(GPT-4-System)보다 방사선과 보고서에서 관련 특징을 추출하고 공통 데이터 요소(CDE)로 표준화하는 데 더 우수한 성능을 보였다.
Resumo
이 연구는 흉부 X선 방사선과 보고서에서 표준화된 공통 데이터 요소(CDE)를 추출하고 매핑하는 두 가지 시스템의 성능을 비교했다.
추출 단계:
- RadLing-System은 GPT-4-System보다 특징 추출에서 더 나은 성능을 보였(F1 점수 97% vs 78%).
- RadLing-System은 부재(99% vs 64%)와 불특정(99% vs 89%)을 구분하는 능력이 더 뛰어났다.
표준화 단계:
- RadLing-System의 CDE 매핑 F1 점수는 98%로 GPT-4-System의 94%보다 높았다.
- RadLing-System의 경량 매퍼는 로컬 배포와 낮은 런타임 비용을 가능하게 한다.
전반적으로 도메인 적응 RadLing-System이 범용 GPT-4-System보다 방사선과 보고서에서 특징을 추출하고 CDE로 표준화하는 데 더 우수한 성능을 보였다. 또한 운영상 이점도 있다.
Estatísticas
특징 추출 F1 점수: RadLing-System 97%, GPT-4-System 78% (p<0.001)
표준화 F1 점수: RadLing-System 98%, GPT-4-System 94% (p<0.001)
부재 특징 F1 점수: RadLing-System 99%, GPT-4-System 64%
불특정 특징 F1 점수: RadLing-System 99%, GPT-4-System 89%
Citações
"RadLing-System의 도메인 적응 임베딩은 GPT-4-System의 일반 목적 임베딩보다 우수한 성능을 보였다."
"RadLing-System의 경량 CDE 매퍼는 GPT-4-System보다 더 높은 F1 점수를 달성했다."