本研究では、マスクプリトレーニングを偏微分方程式に適用する方法を提案している。具体的には以下の通りである:
1次元KdV-Burgers方程式、1次元移流方程式・KS方程式、2次元熱方程式・移流方程式・Burgers方程式を対象とする。これらの方程式の解を生成したデータセットを用いてプリトレーニングを行う。
マスクオートエンコーダーを用いて、未マスクのパッチから潜在表現を学習する。デコーダーはマスクされたパッチを再構成する。
プリトレーニング後のエンコーダーの潜在表現を用いて、未知の方程式の係数回帰タスクと時間ステップ予測タスクを行う。
1次元KdV-Burgers方程式のプリトレーニングでは、未知の移流方程式やKS方程式に対しても良好な性能が得られた。2次元の熱・移流・Burgers方程式のプリトレーニングでも、同様の傾向が確認された。
マスクプリトレーニングにより、方程式の動力学に関する有用な潜在表現が学習できることが示された。この潜在表現は、未知の方程式に対する係数回帰や時間ステップ予測の性能向上に寄与する。
マスクプリトレーニングは、不完全なデータセットや異なる方程式を含むデータセットからも、一般化可能な表現を学習できる可能性がある。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問