의료 AI의 안전성과 신뢰성 향상을 위한 가드레일 강화
의료 분야에서 AI 기술의 안전성과 신뢰성을 높이기 위해 기존 가드레일 프레임워크를 개선하여 환자 안전과 정보의 정확성을 보장하는 방안을 제시한다.
자원 제한적 환경에서 효율적인 의료 진단을 위한 TinyLLaVA-Med: 의료 AI 기술의 민주화
자원 제한적 환경에서도 효율적으로 작동하는 다중 모달 대형 언어 모델 TinyLLaVA-Med를 개발하여 의료 진단 기술의 접근성을 높임
의료 분야에서 대형 언어 모델의 지시 미세 조정을 통한 의료 애플리케이션 개선
다양한 의료 사용자 요구에 부합하도록 대형 언어 모델을 조정하기 위해 기계 생성 의료 지시 데이터셋을 활용하여 모델을 미세 조정하는 방법을 제안한다.
중국 의료 기반 모델의 자가 진단 원자 지식 정량화
의료 LLM의 자가 진단을 위한 원자 지식 보유 능력을 정확하고 신뢰성 있게 평가하기 위해 SDAK 벤치마크를 구축하였다. 실험 결과 중국 의료 LLM은 여전히 자가 진단 원자 지식 측면에서 개선의 여지가 크며, 증류 데이터가 실제 의사-환자 대화 데이터보다 원자 지식 보유를 더 효과적으로 향상시킨다는 것을 발견하였다.
의료 교과서를 통해 소규모 언어 모델이 향상된 추론 능력을 습득하다
소규모 언어 모델인 Meerkat-7B가 의료 교과서에서 추출한 고품질 체인-오브-쓰ought 데이터를 활용하여 복잡한 의료 문제를 해결하는 데 필요한 다단계 추론 능력을 크게 향상시켰다.
LLM의 임상 역량 자동 평가를 위한 지표, 데이터 및 알고리즘
LLM의 안전하고 신뢰할 수 있는 임상 적용을 위해서는 잠재적 위험(예: 환각)을 완화하기 위한 LLM의 임상 역량 평가가 중요하다. 이를 위해 임상 실무 경로를 기반으로 한 LLM 특화 임상 경로(LCP), 의료 교육의 표준화된 환자(SP)를 활용한 데이터 수집, 그리고 검색 강화 평가(RAE)를 통한 자동 평가 알고리즘을 제안한다.
의료 데이터 불균형 해결을 위한 합성 데이터 생성 기법: MCRAGE
MCRAGE는 의료 데이터 불균형을 해결하기 위해 조건부 탈노이즈 확산 모델을 활용하여 소수 집단의 합성 데이터를 생성하고, 이를 통해 불균형한 데이터셋을 재균형화하여 공정한 AI 모델 학습을 가능하게 한다.
의료 대화형 언어 모델의 건강 형평성 관련 편향 및 위험 식별을 위한 도구 키트
대규모 언어 모델(LLM)은 복잡한 의료 정보 요구를 해결할 수 있는 큰 잠재력을 가지고 있지만, 동시에 해로를 초래하고 건강 격차를 악화시킬 수 있는 위험도 있다. 건강 형평성 관련 모델 오류를 신뢰성 있게 평가하는 것은 건강 형평성을 증진하는 시스템을 개발하는 데 있어 중요한 단계이다.
의료 질문 답변을 위한 대화형 AI 시스템 탐구: 다중 에이전트 토론 전략의 장단점
대화형 AI 시스템의 정확성과 신뢰성을 높이기 위해 다중 에이전트 토론 전략이 제안되었지만, 기존 단일 에이전트 접근법과 비교했을 때 성능 향상이 보장되지 않는다. 적절한 하이퍼파라미터 튜닝을 통해 다중 에이전트 토론 시스템의 성능을 개선할 수 있으며, 에이전트 간 합의 수준을 조절하는 것이 중요한 요인으로 나타났다.
대형 언어 모델의 상태 인식 환자 시뮬레이터를 활용한 자동 대화형 평가
본 연구는 대형 언어 모델의 의료 상담 능력을 평가하기 위해 자동 대화형 평가 프레임워크와 상태 인식 환자 시뮬레이터를 제안한다. 이를 통해 기존 평가 방식의 한계를 극복하고 실제 임상 상황에 더 가까운 평가를 수행할 수 있다.
