본 연구는 안구 표면 질환 진단을 위해 대형 언어 모델(LLM)을 활용한 다중 모달 진단 파이프라인을 제안한다. 주요 내용은 다음과 같다:
시각 번역기를 통해 메이보그래피 이미지를 정량화된 눈꺼풀샘 형태학 데이터로 변환하여 임상 메타데이터와 통합한다. 이를 통해 세부적인 형태학적 통찰과 임상적 맥락을 결합할 수 있다.
LLM 기반 요약기를 도입하여 비서술적인 임상 메타데이터와 눈꺼풀샘 형태학 데이터를 통합하고 임상 보고서 요약을 생성한다. 이를 통해 LLM의 학습 능력을 향상시킨다.
실제 임상의 진단 사례를 활용하여 LLM에 도메인 특화 지식을 추가로 주입함으로써 진단 추론 능력을 강화한다.
실험 결과, 제안한 다중 모달 진단 파이프라인은 기존 벤치마크 모델들을 능가하는 성능을 보였으며, 임상의들의 평가에서도 높은 점수를 받았다. 이는 LLM을 활용한 안구 표면 질환 진단의 잠재력을 보여준다.
Na inny język
z treści źródłowej
arxiv.org
Głębsze pytania