MOLBIND는 다중 모달 사전 학습 프레임워크로, 언어, 분자 그래프, 분자 구조, 단백질 포켓 등 다양한 생물학 관련 모달리티를 통합적으로 정렬하여 효과적인 다중 모달 표현을 학습한다.
기존 접근법은 두 개의 모달리티만을 다루었지만, MOLBIND는 다양한 모달리티 쌍을 활용하여 단일 정렬 표현 공간을 학습한다. 이를 위해 MOLBIND-M4라는 고품질 다중 모달 데이터셋을 구축하였다.
MOLBIND는 제로샷 크로스 모달 검색, 제로샷 분자 분류 등의 다운스트림 태스크에서 우수한 성능을 보였다. 이는 MOLBIND가 다양한 모달리티 간 의미 정렬을 효과적으로 학습했음을 보여준다.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Teng Xiao,Ch... klo arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.08167.pdfSyvällisempiä Kysymyksiä