Medizinische Bildanalyse durch Visual Question Answering: Eine effiziente Methode für multimodale Vortrainings

Durch den Einsatz von Visual Question Answering (VQA) kann das Modell gezielt auf die gewünschten pathologischen Merkmale ausgerichtet werden, ohne zusätzliche Annotationen von Experten zu benötigen. Darüber hinaus ermöglicht ein neuartiger Quasi-Textual Feature Transformer die Überbrückung der Lücke zwischen Bild- und Textdomäne, was die Leistung in verschiedenen Downstream-Aufgaben verbessert.