Unser Ziel ist es, ein Rahmenwerk zu entwickeln, das in der Lage ist, medizinische Bilddaten und Textdaten gleichzeitig zu erweitern, um die Leistung von Vision-Sprache-Vorverarbeitungsmodellen in der Radiologie zu verbessern.
Eine neuartige Methode zur Ausrichtung von medizinischen Bildern und Berichten, die eine Ähnlichkeitsrepräsentation (SimR) nutzt, um die komplexen Beziehungen zwischen ihnen effektiv zu erfassen, sowie eine Strategie zur Ausrichtung von Diagnoseaufforderungen, um die Leistung bei der Null-Schuss-Klassifizierung zu verbessern.
Ein umfassendes KI-Modell (RO-LMM) wird vorgestellt, das verschiedene Aufgaben in der Strahlentherapie bei Brustkrebs unterstützt, wie die Zusammenfassung von Patientenberichten, die Erstellung von Behandlungsplänen und die zielgerichtete Segmentierung des Tumorvolumens.
Das ECAMP-Modell ermöglicht eine effizientere und kontextsensitivere Interpretation medizinischer Daten, indem es Entity-zentriertes Wissen aus medizinischen Berichten destilliert und dieses Wissen in ein verbessertes Vortraining für die Verarbeitung von medizinischen Bildern und Texten integriert.