Die Autoren stellen einen neuartigen Codomain-Aufmerksamkeits-Neuraloperator (CoDA-NO) vor, der Abhängigkeiten zwischen physikalischen Variablen verschiedener PDE-Systeme explizit modelliert. CoDA-NO tokenisiert die Funktionen entlang des Codomainraums und erweitert Positionscodierung, Selbstaufmerksamkeit und Normalisierungsschichten auf den Funktionsraum.
Das Modell kann in einem selbstüberwachten Vortraining auf Datensätzen verschiedener PDE-Systeme trainiert werden. Anschließend kann es mit wenigen Beispielen an neue Multiphysik-PDEs mit zusätzlichen Variablen angepasst werden.
Die Autoren evaluieren CoDA-NO auf Fluid-Dynamik- und Fluid-Struktur-Interaktions-Problemen. Sie zeigen, dass das vortrainierte Modell deutlich bessere Ergebnisse erzielt als Basismodelle, die von Grund auf trainiert werden, insbesondere bei sehr wenigen Trainingsdaten. Außerdem kann das Modell, das auf einem PDE-System vortrainiert wurde, effizient an ein anderes PDE-System mit zusätzlichen Variablen angepasst werden.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Md Ashiqur R... alle arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12553.pdfDomande più approfondite