Alapfogalmak
Ein neuartiger Zustandsraumansatz namens DGMamba, der die Generalisierungsfähigkeit auf unbekannte Domänen durch Hidden State Suppressing und semantikbewusstes Patch-Refining verbessert.
Kivonat
Der Artikel präsentiert einen neuen Ansatz namens DGMamba, um die Generalisierungsfähigkeit von Zustandsraummodellen (SSM) wie Mamba auf unbekannte Domänen zu verbessern.
Zunächst wird das Problem der domänenspezifischen Informationen in den versteckten Zuständen von SSM-basierten Modellen wie Mamba adressiert. Dafür wird eine Hidden State Suppressing (HSS) Strategie eingeführt, um den Einfluss domänenspezifischer Merkmale während der Ausgabevorhersage zu reduzieren.
Darüber hinaus wird eine Semantic-aware Patch Refining (SPR) Komponente vorgeschlagen, um das Modell dazu zu bringen, sich mehr auf Objekte als auf den Kontext zu konzentrieren. SPR besteht aus zwei Teilen:
- Prior-Free Scanning (PFS): Zufälliges Mischen der Hintergrundpatches, um eine flexiblere und effektivere Sequenzgenerierung aus Bildern zu ermöglichen.
- Domain Context Interchange (DCI): Ersetzen der Kontextpatches eines Bildes durch Patches aus anderen Domänen, um lokale Texturmerkmale und Kontextverwirrung einzubringen.
Die umfangreichen Experimente auf vier gängigen Benchmarks für domänenübergreifende Generalisierung zeigen, dass der vorgeschlagene DGMamba-Ansatz deutlich bessere Ergebnisse als der Stand der Technik erzielt.
Statisztikák
Die Generalisierungsleistung von DGMamba übertrifft die der aktuellen CNN-basierten und ViT-basierten Methoden bei einem deutlich geringeren Rechenaufwand.
Idézetek
"Unser DGMamba umfasst zwei Kernkomponenten: Hidden State Suppressing (HSS) und Semantic-aware Patch Refining (SPR)."
"PFS zielt darauf ab, die nicht-semantischen Patches innerhalb von Bildern zu mischen, um flexiblere und effektivere Sequenzen aus Bildern zu erstellen, und DCI ist so konzipiert, dass Mamba mit der Kombination von nicht übereinstimmenden nicht-semantischen und semantischen Informationen durch das Fusionieren von Patches zwischen Domänen regularisiert wird."