Keskeiset käsitteet
다중 소스 데이터를 활용하여 새로운 소스에 대한 모델의 일반화 성능을 보다 정확하게 평가할 수 있다.
Tiivistelmä
이 연구는 임상 기계 학습 모델의 일반화 성능 평가를 위해 다중 소스 데이터를 활용하는 방법을 탐구했다. 주요 내용은 다음과 같다:
- PhysioNet/CinC 챌린지 2021 데이터와 Shandong Provincial Hospital 데이터를 통합하여 다중 소스 심전도 데이터셋을 구축했다.
- 단일 소스 데이터를 사용한 K-fold 교차 검증이 새로운 소스에 대한 모델 성능을 과대 추정하는 것을 확인했다.
- 다중 소스 데이터를 활용한 leave-source-out 교차 검증이 새로운 소스에 대한 성능 추정에 더 신뢰할 수 있는 것으로 나타났다.
- 이를 통해 의료 데이터에서 교차 검증 결과의 편향 문제와 다중 소스 데이터 활용의 중요성을 보여주었다.
Tilastot
단일 소스 실험에서 5-fold 교차 검증 결과와 테스트 결과 간 평균 오차(macro-AUC: 0.015 - 0.096, micro-AUC: 0.047 - 0.174)
다중 소스 실험에서 4-fold 교차 검증의 평균 오차(macro-AUC: 0.0404, micro-AUC: 0.0489)
다중 소스 실험에서 leave-source-out 교차 검증의 평균 오차(macro-AUC: -0.0013, micro-AUC: -0.0062)
Lainaukset
"다중 소스 데이터를 활용하여 새로운 소스에 대한 모델의 일반화 성능을 보다 정확하게 평가할 수 있다."
"단일 소스 데이터를 사용한 K-fold 교차 검증이 새로운 소스에 대한 모델 성능을 과대 추정하는 것을 확인했다."
"다중 소스 데이터를 활용한 leave-source-out 교차 검증이 새로운 소스에 대한 성능 추정에 더 신뢰할 수 있는 것으로 나타났다."