DeIDClinic은 임상 텍스트에서 환자 식별 정보를 효과적으로 식별하고 마스킹하는 다층 프레임워크이다.
이 연구는 포르투갈어 의료 분야에서 신뢰할 수 있고 관련성 있는 가상 의료 보조 시스템을 개발하기 위해 대규모 언어 모델(LLM)의 성능을 평가합니다.
다양한 유형의 의료 데이터셋을 활용하여 작은 규모의 언어 모델도 우수한 성능을 달성할 수 있음을 보여줌.
의료 분야에서 LLM 생성 텍스트를 평가하는 것은 매우 어려운 과제이다. 이 연구는 대리 과제와 순위 기반 접근을 활용하여 인간 평가 기준과 잘 부합하는 LLM 평가기를 개발하였다.
대규모 언어 모델은 의료 관련 질의에 대해 사실과 다른 정보를 생성할 수 있으며, 이는 사회적 및 의료적 영향을 미칠 수 있다.
대규모 언어 모델과 앙상블 학습을 활용하여 의약품 및 관련 속성(용량, 투여 경로, 강도, 부작용 등)을 효과적으로 추출하고 표준 임상 지식베이스(SNOMED-CT, BNF 등)에 매핑하는 기술을 개발하였다.
의료 인공지능 기술을 활용하여 의사의 업무 부담을 줄이고 병원 문서화 프로세스를 개선하는 것이 이 과제의 핵심 목표이다.
대형 언어 모델은 근거 없는 정보를 생성할 수 있지만, 도메인 특화 검색 보강 생성 기법을 통해 이를 상당 부분 개선할 수 있다. 그러나 여전히 근거 선택, 근거 관련성, 근거 귀속 등의 과제가 남아 있다.
의료 분야의 다양한 자연어 처리 과제에서 직접 매개변수 최적화(DPO) 기법이 감독 미세 조정(SFT)보다 우수한 성능을 보인다.
대규모 언어 모델과 지식 검색 기술을 통합하여 의료 보고서의 오류를 효과적으로 탐지하고 수정할 수 있는 방법을 제안한다.