전문가 수준의 병리학 이해와 추론을 위한 대규모 다중 모달 벤치마크: PathMMU

PathMMU는 병리학 분야의 대규모 다중 모달 모델을 평가하기 위한 전문가 수준의 최대 규모 및 최고 품질의 벤치마크이다. 이는 다양한 출처의 33,428개 다중 모달 선다형 문제와 24,067개 이미지로 구성되며, 각 문제에는 정답에 대한 상세한 설명이 포함되어 있다. 이 벤치마크는 전문 병리의사의 엄격한 검토를 거쳐 구축되었으며, 현존하는 최고 수준의 다중 모달 모델들도 이를 해결하는 데 어려움을 겪는 것으로 나타났다.