Automatische Erstellung von Radiologieberichten durch ein gedächtnisbasiertes, kreuzmodales semantisches Ausrichtungsnetzwerk

Das vorgeschlagene Modell MCSAM nutzt einen sorgfältig initialisierten Speicherbank, um krankheitsbezogene Darstellungen und Vorwissen für verschiedene Modalitäten zu lernen, und verwendet einen Prozess des Speicherabrufs basierend auf Kreuzaufmerksamkeit zusammen mit einem kreuzmodalen semantischen Ausrichtungsmodul (SAM), um konsistentes kreuzmodales Vorwissen abzurufen und eine feingranulare Merkmalskonsolidierung durchzuführen.