Das Papier stellt ein Verfahren zur interpretierbaren Erkennung von kontextfremder Desinformation vor. Dazu wird zunächst der Bildtext in eine abstrakte semantische Repräsentation (AMR-Graph) überführt. Aus diesem Graph werden dann elementare Faktenaussagen extrahiert, die anschließend mit einem großen vortrainierten Multimodalmodell auf Konsistenz mit dem Bildinhalt überprüft werden. Ein Abwägungsmodell selektiert dann die wichtigsten und zuverlässigsten Faktenaussagen als Nachweise, um eine Vorhersage über die Glaubwürdigkeit des Inhalts zu treffen.
Im Vergleich zu bestehenden Ansätzen bietet das Verfahren den Vorteil, dass es nicht nur eine Vorhersage trifft, sondern auch die Gründe dafür in Form von Nachweisen liefert. Dies erleichtert die Arbeit von Faktenprüfern und erhöht die Transparenz und Nachvollziehbarkeit der Entscheidungen.
Die Experimente zeigen, dass das Verfahren eine höhere Genauigkeit als state-of-the-art Modelle erreicht und gleichzeitig interpretierbare Nachweise generiert.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Yizhou Zhang... klo arxiv.org 04-09-2024
https://arxiv.org/pdf/2304.07633.pdfSyvällisempiä Kysymyksiä