使用系統識別工具箱(TM)進行動態系統的深度學習

Kernkonzepte

系統識別工具箱在過去3年中不斷增強其動態建模功能,重點是整合深度學習架構和訓練技術,以促進使用深度神經網絡作為非線性模型的構建模塊。工具箱提供神經狀態空間模型,可以擴展自動編碼功能,特別適用於大型系統的低維建模。工具箱還包含其他多項增強功能,加深了與最先進機器學習技術的整合,利用自動微分功能進行狀態估計,並支持直接使用原始數值矩陣和時間表進行模型訓練。

Zusammenfassung

本文介紹了系統識別工具箱在過去3年中的一些增強功能:

1. 神經狀態空間(NeuralSS)模型:

   • 使用神經常微分方程(neural ODE)表示動態系統
   • 可以擴展自動編碼功能,實現低維建模
   • 示例:使用NeuralSS模型建立火花點火引擎扭矩動力學的黑箱模型

2. 神經網絡在非線性ARX和Hammerstein-Wiener模型中的應用:

   • 允許使用高斯過程、支持向量機和提升/袋裝樹集成作為回歸函數
   • 最新更新支持使用神經網絡表示非線性輸入-輸出或回歸器-輸出映射
   • 示例:使用神經網絡非線性黑箱模型建模機器人臂動力學

3. 特徵選擇和基於字典的學習:

   • 支持使用近端梯度算法自動選擇非線性ARX模型的最優回歸子集
   • 示例:為內燃機模型進行特徵選擇

4. 其他改進:

   • 在擴展卡爾曼濾波器中使用自動微分技術生成雅可比函數
   • 支持使用雙精度輸入/輸出矩陣、時間表和iddata對象作為輸入數據格式

總的來說,系統識別工具箱不斷增強其與最先進機器學習技術的整合,為動態系統建模提供了更強大和靈活的功能。

Statistiken

內燃機模型中,使用16個回歸子集的模型(sys0)的擬合度為-281.7%,而使用10個回歸子集的模型(sys1)的擬合度為73.96%。
機器人臂系統中,使用神經網絡非線性ARX模型(sys1)的擬合度為79.61%,而使用神經網絡Wiener模型(sys2)的擬合度為85.39%。

Zitate

無

Wichtige Erkenntnisse aus

Deep Learning of Dynamic Systems using System Identification Toolbox(TM)

by Tianyu Dai, ... um arxiv.org 09-13-2024

https://arxiv.org/pdf/2409.07642.pdf

Tiefere Fragen

除了本文介紹的方法,系統識別工具箱還有哪些其他的深度學習功能可以用於動態系統建模?

系統識別工具箱除了本文介紹的神經狀態空間模型和非線性ARX及Hammerstein-Wiener模型外，還提供了多種深度學習功能以支持動態系統建模。這些功能包括：

自動微分功能：在擴展卡爾曼濾波器中，使用自動微分技術來生成狀態轉移和測量函數的雅可比矩陣，這樣可以簡化模型的設計過程，並提高估計的準確性。

稀疏估計特徵：系統識別工具箱支持稀疏估計，這使得用戶可以利用Lasso等方法自動選擇最具代表性的特徵，從而提高模型的可解釋性和泛化能力。

與其他機器學習技術的整合：工具箱還支持將高斯過程、支持向量機和樹集成等回歸模型與深度學習模型結合，這樣可以在建模過程中利用不同算法的優勢。

直接使用原始數據格式：用戶可以直接使用基本的MATLAB數據類型（如數字矩陣和時間表）進行模型訓練，這樣可以提高數據處理的靈活性和效率。

這些功能的整合使得系統識別工具箱在動態系統建模中具備更強的靈活性和適應性，能夠滿足不同應用場景的需求。

在使用神經網絡作為動態系統模型時,如何確保模型的物理可解釋性和可部署性?

在使用神經網絡作為動態系統模型時，確保模型的物理可解釋性和可部署性可以通過以下幾個策略來實現：

選擇合適的模型結構：使用神經狀態空間模型等結構化的神經網絡，可以使模型更容易與物理系統的動態行為相對應。這些模型通常具有明確的狀態轉移和輸出函數，便於理解其物理意義。

引入物理約束：在模型訓練過程中，可以引入物理約束條件，例如系統的能量守恆或動量守恆，這樣可以幫助模型學習到符合物理規律的行為。

使用可解釋的激活函數：選擇具有良好可解釋性的激活函數（如tanh或sigmoid）可以提高模型的可解釋性，因為這些函數的行為相對簡單且易於理解。

模型簡化和特徵選擇：通過稀疏估計和特徵選擇技術，減少模型中的參數數量，這不僅提高了模型的可解釋性，還有助於提高其在實際應用中的可部署性。

進行模型驗證：在模型訓練後，使用獨立的驗證數據集來評估模型的性能，確保其在真實環境中的可靠性和穩定性。

這些策略的綜合運用可以有效提高神經網絡模型在動態系統建模中的物理可解釋性和可部署性，從而促進其在工程應用中的實際應用。

對於大規模複雜的動態系統,如何利用先驗知識來指導深度學習模型的結構設計和訓練?

對於大規模複雜的動態系統，利用先驗知識來指導深度學習模型的結構設計和訓練可以通過以下幾個方面來實現：

模型結構的選擇：根據系統的物理特性和動態行為，選擇合適的模型結構。例如，對於具有明確狀態變化的系統，可以選擇神經狀態空間模型，這樣可以更好地捕捉系統的動態特性。

特徵工程：利用先驗知識來選擇和設計特徵，這可以包括使用滯後變量、物理量的組合或其他相關的輸入變量。這樣可以減少模型的複雜性，並提高模型的學習效率。

正則化技術：在訓練過程中引入正則化技術（如L1或L2正則化），可以幫助模型避免過擬合，並促使模型學習到更具代表性的特徵。

模型初始化：根據先驗知識對模型的權重進行合理初始化，可以加速訓練過程並提高最終模型的性能。例如，可以使用基於物理模型的參數作為初始值。

增量學習：對於大規模系統，可以採用增量學習的方法，逐步引入新的數據和特徵，這樣可以在不重新訓練整個模型的情況下，持續改進模型的性能。

通過這些方法，先驗知識可以有效地指導深度學習模型的設計和訓練，從而提高其在大規模複雜動態系統中的應用效果。