從觀察中學習模仿：一種自回歸專家混合模型方法

Core Concepts

本文提出了一種基於自回歸專家混合模型的模仿學習方法，該方法可以僅從狀態軌跡中學習控制策略，並通過引入李雅普諾夫穩定性約束來確保模型的穩定性，適用於多步預測任務。

Abstract

文獻回顧

• 模仿學習是機器學習領域中的一個重要分支，其目標是讓智慧體通過觀察專家的示範來學習策略。
• 現有的模仿學習方法大多數需要獲取專家的動作資訊，例如行為克隆（BC）和生成對抗模仿學習（GAIL）。
• 然而，在許多實際應用中，獲取專家的動作資訊非常困難，甚至是不可能的，例如自動駕駛。
• 因此，從觀察中學習模仿（IfO）應運而生，它只需要獲取專家的狀態軌跡，而不需要獲取專家的動作資訊。

本文貢獻

• 提出了一種基於自回歸專家混合模型的 IfO 方法，該方法可以僅從狀態軌跡中學習控制策略。
• 提出了一種兩階段學習框架來學習模型參數。
• 推導了所提出的隨機切換模型的充分李雅普諾夫穩定性條件，並將其作為約束條件加入到訓練過程中，以確保模型的穩定性。
• 在兩個自動駕駛數據集上驗證了所提出方法的有效性，結果表明，該方法可以有效地學習人類駕駛行為，並準確地預測未來狀態軌跡。

模型介紹

• 本文提出的模型是一個隨機切換系統，它由多個子系統組成，每個子系統代表一種駕駛模式。
• 模型通過一個門控函數來選擇當前時刻應該激活哪個子系統，門控函數的輸入是當前時刻的狀態和歷史狀態。
• 每个子系统是一个线性模型，它可以预测下一时刻的控制输入。
• 为了提高模型的表达能力，本文在每个子系统的输出上加入了高斯噪声。

实验结果

• 本文在两个自动驾驶数据集上进行了实验，分别是车道保持场景和双车道变换场景。
• 实验结果表明，本文提出的方法在预测精度和稳定性方面都优于现有的方法。
• 此外，本文还发现，将李雅普諾夫穩定性約束加入到訓練過程中可以有效地提高模型的穩定性。

總結

• 本文提出了一種基於自回歸專家混合模型的 IfO 方法，該方法可以僅從狀態軌跡中學習控制策略，並通過引入李雅普諾夫穩定性約束來確保模型的穩定性。
• 实验结果表明，该方法在预测精度和稳定性方面都优于现有的方法。

Stats

在车道保持场景中，使用了 5 条轨迹数据，其中 3 条用于训练，1 条用于验证，1 条用于测试。
在双车道变换场景中，使用了 21 条轨迹数据，其中 14 条用于训练，3 条用于验证，4 条用于测试。
轨迹数据的采样率为 1 kHz，下采样至 20 Hz。
模型的正则化参数 γ1 = γ2 = γ3 = 5 × 10−6。
在车道保持场景中，模型的模态数量为 3。
在双车道变换场景中，模型的模态数量为 4。

Quotes

Key Insights Distilled From

Imitation Learning from Observations: An Autoregressive Mixture of Experts Approach

by Renzi Wang, ... at arxiv.org 11-14-2024

https://arxiv.org/pdf/2411.08232.pdf

Deeper Inquiries

如何將該方法擴展到多智能體場景？

在多智能體場景中，每個智能體都需要根據其他智能體的行為預測自身的動作。這可以通過以下幾種方式擴展本文提出的方法：

集中式學習，分散式執行： 將所有智能體視為一個整體系統，利用所有智能體的狀態軌跡數據，學習一個涵蓋所有智能體行為的單一策略模型。學習過程中，可以將其他智能體的狀態信息作為額外輸入加入到模型中，例如使用相對位置、相對速度等。訓練完成後，每個智能體可以使用該模型的局部版本，僅根據自身狀態和觀測到的其他智能體狀態進行預測和決策。

分散式學習，分散式執行： 每個智能體分別學習一個策略模型，用於預測自身的動作。學習過程中，可以將其他智能體視為環境的一部分，將其狀態信息作為額外輸入加入到模型中。為了處理其他智能體策略的變化，可以使用博弈論的思想，例如採用多智能體強化學習算法，讓智能體在交互中不斷學習和適應彼此的策略。

圖神經網絡： 可以使用圖神經網絡 (GNN) 來建模多智能體之間的交互關係。將每個智能體視為圖中的一個節點，智能體之間的交互關係作為邊，利用 GNN 學習每個智能體的策略。這種方法可以更好地捕捉智能體之間的複雜交互關係，提高預測的準確性。

需要注意的是，多智能體場景下，由於智能體之間的交互更加複雜，模型的穩定性更加难以保证。因此，在擴展該方法時，需要更加關注模型的穩定性分析和驗證。

該方法的泛化能力如何？能否将其应用于其他领域？

該方法的泛化能力取決於以下幾個因素：

系統動力學模型的準確性： 該方法依賴於系統動力學模型來估計控制輸入。如果模型不準確，則估計的控制輸入就會有偏差，進而影響策略學習的準確性。
訓練數據的多樣性： 訓練數據需要涵蓋各種不同的場景和操作條件，才能保證模型的泛化能力。
模型結構的選擇： 模型的結構需要根據具體的應用場景進行選擇，才能更好地捕捉系統的動態特性。
總體而言，該方法具有較好的泛化能力，可以應用於其他需要從狀態軌跡數據中學習控制策略的領域，例如：

機器人控制： 可以利用該方法從人類操作員的示範數據中學習機器人的控制策略。
金融交易： 可以利用該方法從歷史交易數據中學習交易策略。
醫療診斷： 可以利用該方法從病人的生理數據中學習診斷策略。
需要注意的是，在將該方法應用於其他領域時，需要根據具體的應用場景對模型進行適當的調整和優化。

如果没有可用的专家示范数据，如何使用该方法进行模仿学习？

如果沒有可用的專家示範數據，可以考慮以下幾種方法：

使用其他形式的先驗知識： 即使沒有專家示範數據，也可能存在其他形式的先驗知識，例如系統的物理規律、安全約束等。可以利用這些先驗知識來約束策略學習的過程，例如將其轉化為獎勵函數或約束條件，引導模型學習合理的策略。

利用強化學習方法： 在沒有示範數據的情況下，可以使用強化學習方法讓智能體通過與環境交互來學習策略。可以設計一個合理的獎勵函數，鼓勵智能體學習符合預期行為的策略。例如，在自動駕駛場景中，可以根據車輛是否保持在車道內、是否與其他車輛保持安全距離等因素來設計獎勵函數。

結合自監督學習方法： 可以利用自監督學習方法，從未標記的數據中學習有用的表示，例如學習狀態的潛在特徵表示。這些表示可以作為輸入提供給策略模型，幫助模型更好地理解狀態信息，提高學習效率。

模擬數據生成： 可以利用系統的動力學模型或其他仿真工具生成模擬數據，用於訓練策略模型。雖然模擬數據不能完全替代真實數據，但可以提供大量的訓練樣本，幫助模型學習基本的控制策略。

需要注意的是，在沒有專家示範數據的情況下，模仿學習的難度會更大，需要更加 carefully 地設計學習算法和訓練策略。