本論文では、フーリエニューラルオペレータ(FNO)を離散グリッド上で実装する際に生じる離散化誤差を理論的に解析した。
まず、FNOの各層における離散化誤差の発生源と伝播過程を詳細に分析した。この誤差は、入力関数の正則性に応じた収束率で減少することを示した。具体的には、入力関数がHs空間に属する場合、離散L2ノルムの誤差は N^-sの割合で減少する。ここで、Nはグリッドサイズ、sは入力関数の正則性を表す指数である。
次に、この理論的結果を数値実験により検証した。ランダムに初期化したFNOモデルや、実際に訓練したFNOモデルを用いて、入力関数の正則性を変えながら離散化誤差の挙動を調べた。実験結果は理論と良く一致しており、特に滑らかな活性化関数(GeLU)を用いた場合に理論通りの収束が確認された。一方で、非滑らかなReLU活性化関数を用いた場合や、非周期的な位置エンコーディングを用いた場合には、理論の予測とは異なる挙動が観察された。
最後に、この離散化誤差の知見に基づき、実践的な対策として以下を提案した:
本研究により、FNOの理論的理解が深まり、実用上の指針が得られた。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問