Conceitos essenciais
Effektive Pre-Training-Strategie für PDEs mit DPOT.
Estatísticas
Wir trainieren unser PDE-Grundmodell mit bis zu 0,5 Mrd. Parametern auf über 10 PDE-Datensätzen.
Wir erreichen den SOTA auf verschiedenen Benchmark-Datensätzen und validieren die starke Generalisierbarkeit unseres Modells.
Unser DPOT kann leicht von 7M auf 0,5B (derzeit größtes verfügbares Modell) als Grundmodell für PDEs skaliert werden.
Citações
"Pre-training hat sich als effektives Paradigma erwiesen, das die Leistungsfähigkeit bei nachgelagerten Aufgaben verbessert, indem Modelle in einer (selbst-)überwachten Weise auf großen Datensätzen trainiert werden." - (Zitat)
"Unser DPOT-Modell zeigt große Vorteile bei diesen anspruchsvollen Benchmarks, indem es das Pre-Training auf PDE-Daten nutzt." - (Zitat)