Supervised Feinabstimmung verbessert visuelle Grundlagenmodelle
Supervised Feinabstimmung (ViSFT) kann die Leistung von visuellen Grundlagenmodellen über verschiedene Benchmarks hinweg verbessern.
Strukturierte Initialisierung für Aufmerksamkeit in Vision Transformern
Die Architektur von Convolutional Neural Networks (CNNs) kann als Initialisierungsverzerrung in Vision Transformers (ViTs) interpretiert werden. Durch eine strukturierte Initialisierung der Aufmerksamkeitskarten in ViTs können die induktiven Voreinstellungen von CNNs eingebettet werden, ohne die architektonische Flexibilität von Transformers zu beeinträchtigen.
Robustheit von Modellen zur zeitlichen Handlungserkennung gegenüber zeitlichen Verzerrungen
Bestehende Modelle zur zeitlichen Handlungserkennung sind besonders anfällig für zeitliche Verzerrungen, unabhängig davon, ob sie auf Transformern oder CNNs basieren. Die Verletzbarkeit resultiert hauptsächlich aus Lokalisierungsfehlern und ist am stärksten, wenn Verzerrungen in der Mitte einer Handlung auftreten.
Robuste und erklärbare Modelle für Computer Vision mit Deep Learning
Diese Dissertation präsentiert verschiedene Ansätze, um Herausforderungen der Robustheit und Erklärbarkeit bei der praktischen Anwendung von Maschinen- und Tiefenlernmodellen in der Computervision zu adressieren.
Verbesserung des Segment Anything Modells für eine hochpräzise dichotome Bildsegmentierung
Das DIS-SAM-Modell verbessert die Segmentierungsgenauigkeit des Segment Anything Modells (SAM) erheblich, indem es SAM mit einem speziell für die hochpräzise Segmentierung entwickelten IS-Net kombiniert.
Effizientes Training hochauflösender Vision-Transformers durch Verwendung von zwei Fenstern
Ein neuartiger Ansatz zum effizienten Training und Inferenz hochauflösender Vision-Transformers, bei dem die meisten Eingabetokens während des Trainings maskiert werden, um lokale und globale Interaktionen zwischen Tokens zu lernen.
Detaillierte Analyse der Auswirkungen von Tokenumwandlungen auf die Erklärbarkeit von Vision Transformern
Die Berücksichtigung der Auswirkungen von Tokenumwandlungen ist entscheidend, um die Rationale hinter den Vorhersagen von Vision Transformern genau zu verstehen. Unser vorgeschlagenes TokenTM-Verfahren integriert sowohl Aufmerksamkeitsgewichte als auch Tokenumwandlungseffekte, um zuverlässigere Post-hoc-Erklärungen zu liefern.
© 2024 by Linnk AI