Core Concepts
HEMIT 데이터셋을 활용하여 H&E 이미지를 다중 표적 mIHC 이미지로 변환하는 새로운 이중 분기 Pix2pix 생성기 모델을 제안하였으며, 이는 기존 방법들보다 우수한 성능을 보였다.
Abstract
이 연구에서는 HEMIT이라는 새로운 데이터셋을 소개하였다. HEMIT은 H&E 이미지와 이에 대응되는 다중 면역조직화학(mIHC) 이미지로 구성된 데이터셋으로, 세포 단위로 정렬되어 있다. 이는 H&E에서 mIHC 이미지로의 변환 작업에 활용될 수 있는 첫 번째 공개 데이터셋이다.
또한 이 연구에서는 H&E 이미지를 mIHC 이미지로 변환하기 위한 새로운 이중 분기 Pix2pix 생성기 모델을 제안하였다. 이 모델은 잔차 합성곱 신경망과 Swin Transformer를 결합하여 전역 정보와 공간적 세부 정보를 모두 활용한다. 실험 결과, 제안된 모델은 기존 방법들보다 우수한 성능을 보였으며, 특히 어려운 CD3 마커에 대해 큰 개선을 보였다.
추가적인 다운스트림 분석을 통해 제안된 모델이 생성한 mIHC 이미지의 높은 품질을 검증하였다. 이는 향후 H&E 이미지에서 생물표지자를 예측하는 연구에 기반이 될 것으로 기대된다.
Stats
DAPI, CD3, panCK 마커에 대한 실제 이미지와 생성 이미지 간 양성 세포 비율의 평균 절대 오차 비율은 제안 모델이 기존 방법들보다 크게 개선되었다.