Core Concepts
Durch die Verwendung von Randbedingungen als Vorwissen und eine zweistufige Trainingsstrategie kann die Konvergenzgeschwindigkeit von physikbasierten neuronalen Netzwerken erheblich verbessert werden.
Abstract
Die Studie stellt eine beschleunigte Trainingsmethode für herkömmliche physikbasierte neuronale Netzwerke (PINN) vor, die drei Faktoren adressiert, die die Verlustfunktion aus dem Gleichgewicht bringen: den Initialzustand der Netzwerkgewichte, das Verhältnis von Domänen- zu Randpunkten und den Gewichtungsfaktor der Verlustfunktion.
Es wird ein neuartiges zweistufiges Trainingsverfahren vorgeschlagen. In der ersten Phase wird eine einzigartige Verlustfunktion unter Verwendung eines Teilsatzes von Randbedingungen und Differentialgleichungstermen erstellt. Außerdem werden Vorverarbeitungsverfahren eingeführt, die darauf abzielen, die Varianz während der Initialisierung zu verringern und Domänenpunkte entsprechend dem Initialgewichtszustand verschiedener neuronaler Netzwerke auszuwählen.
In der zweiten Phase ähnelt das Training dem herkömmlichen PINN-Training, aber ein Teil der Zufallsgewichte wird durch Gewichte aus der ersten Phase ersetzt. Dies impliziert, dass die Struktur des neuronalen Netzwerks so konzipiert ist, dass sie die Randbedingungen priorisiert, was sich wiederum auf die Gesamtkonvergenz auswirkt.
Drei Benchmarks werden verwendet: zweidimensionale Strömung über einen Zylinder, ein inverses Problem der Bestimmung der Einlassgeschwindigkeit und die Burger-Gleichung. Es wird festgestellt, dass die Einbeziehung der in der ersten Trainingsphase erzeugten Gewichte in die Struktur eines neuronalen Netzwerks die Auswirkungen der Ungleichgewichtsfaktoren neutralisiert. Zum Beispiel führt unser Verfahren dazu, dass die zweite Trainingsphase über ein breites Spektrum von Verhältnissen ausgeglichen ist und nicht vom Initialzustand der Gewichte beeinflusst wird, während der herkömmliche PINN in den meisten Fällen nicht konvergiert. Darüber hinaus beseitigt der erste Trainingsprozess nicht nur die Notwendigkeit des Hyperparametertunings zum Ausgleichen der Verlustfunktion, sondern übertrifft den herkömmlichen PINN auch in Bezug auf die Geschwindigkeit.
Stats
Der Flüssigkeitsdichte beträgt 1 kg/m³ und die Viskosität der Flüssigkeit beträgt 0,02 kg/m·s mit einer Einlass-Reynoldszahl von 26,6.
Der Kanal hat eine Länge von 1 m und eine Höhe von 0,4 m. Der Zylinder hat einen Durchmesser von 0,1 m.
Die Einlassgeschwindigkeit ist definiert als: u = 4 * y * (0,4 - y) / 0,4².
Quotes
"Durch die Verwendung von Randbedingungen als Vorwissen und eine zweistufige Trainingsstrategie kann die Konvergenzgeschwindigkeit von physikbasierten neuronalen Netzwerken erheblich verbessert werden."
"Unser Verfahren führt dazu, dass die zweite Trainingsphase über ein breites Spektrum von Verhältnissen ausgeglichen ist und nicht vom Initialzustand der Gewichte beeinflusst wird, während der herkömmliche PINN in den meisten Fällen nicht konvergiert."