Die Autoren stellen einen neuartigen Codomain-Aufmerksamkeits-Neuraloperator (CoDA-NO) vor, der Abhängigkeiten zwischen physikalischen Variablen verschiedener PDE-Systeme explizit modelliert. CoDA-NO tokenisiert die Funktionen entlang des Codomainraums und erweitert Positionscodierung, Selbstaufmerksamkeit und Normalisierungsschichten auf den Funktionsraum.
Das Modell kann in einem selbstüberwachten Vortraining auf Datensätzen verschiedener PDE-Systeme trainiert werden. Anschließend kann es mit wenigen Beispielen an neue Multiphysik-PDEs mit zusätzlichen Variablen angepasst werden.
Die Autoren evaluieren CoDA-NO auf Fluid-Dynamik- und Fluid-Struktur-Interaktions-Problemen. Sie zeigen, dass das vortrainierte Modell deutlich bessere Ergebnisse erzielt als Basismodelle, die von Grund auf trainiert werden, insbesondere bei sehr wenigen Trainingsdaten. Außerdem kann das Modell, das auf einem PDE-System vortrainiert wurde, effizient an ein anderes PDE-System mit zusätzlichen Variablen angepasst werden.
To Another Language
from source content
arxiv.org
Дополнительные вопросы