Gradient-basierte Zuschreibungsmethoden, die Vor-Softmax-Scores verwenden, sind anfällig für eine Klasse von Angriffen, die die erzeugten Heatmaps verändern können, ohne die Modellausgaben zu ändern.
Eine thermodynamisch inspirierte Methode zur Erzeugung genauer und menschlich interpretierbarer Erklärungen für Vorhersagen von Black-Box-KI-Modellen.
Variational Flow Models bieten eine systematische, trainingsfreie Methode, um nicht-gerade Posterior-Flows in gerade konstant-schnelle Flows zu transformieren, was die Sampling-Effizienz deutlich verbessert.
Große Vision-Sprache-Modelle (LVLMs) haben in letzter Zeit große Fortschritte erzielt, aber es gibt zwei Hauptprobleme bei der Bewertung: 1) Visuelle Inhalte sind für viele Proben nicht erforderlich, da die Antworten direkt aus den Fragen und Optionen oder dem in LLMs eingebetteten Weltwissen abgeleitet werden können. 2) Es gibt unbeabsichtigtes Datenleck in der Ausbildung von LLM und LVLM, so dass sie einige visuelle Fragen auch ohne visuelle Inhalte beantworten können.
Durch die Verwendung sorgfältig ausgewählter, nicht übereinstimmender Gegenfaktischer Schlüsselwörter können wir die Denkfähigkeiten großer multimodaler Modelle verbessern und so die Halluzinationseffekte in ihren Antworten reduzieren.