幾分鐘內實現全自動相關時間序列預測

Core Concepts

本文提出了一種名為 FACTS 的全自動時間序列預測框架，該框架能夠在幾分鐘內高效準確地預測相關時間序列的未來值。

Abstract

引言

許多重要的社會和工業基礎設施，包括智能交通系統、電網、患者監測系統和工業控制系統，都涉及記錄隨時間變化值的傳感器，從而產生多個通常相互關聯的時間序列，稱為相關時間序列 (CTS)。
基於歷史值預測此類時間序列的未來值具有重要的應用。
採用深度學習的方法在 CTS 預測方面取得了最先進的性能。
大多數模型架構都是由人類專家手動設計的，其核心組件是時空塊 (ST-blocks)，這些塊由空間/時間 (S/T) 運算符（例如卷積、圖卷積和變換器）構成，並捕獲歷史值之間的時間依賴性和時間序列之間的空間相關性。
儘管取得了可喜的成果，但即使是人類專家也很難為新任務設計最佳的 ST-blocks。
自動化 CTS 預測

自動化 CTS 預測旨在自動識別不同任務的最佳 ST-blocks，然後使用它們進行預測。
它包括三個階段：搜索空間設計、搜索最佳 ST-block 以及訓練識別的 ST-block。
首先設計一個搜索空間，它是由 S/T 運算符和用於組裝運算符的拓撲連接規則組成的一組 ST-blocks。
接下來，他們採用基於梯度、基於比較器或隨機搜索等搜索策略來探索搜索空間，以找到給定任務的最佳 ST-block。
最後，對識別出的 ST-block 進行訓練，以實現預測任務。
現有自動化方法的局限性

手動設計的搜索空間：搜索空間仍然是手動設計的，這可能會導致性能欠佳，並且也違反了 AutoML 的目標，即自動化整個過程。
高搜索成本：現有的自動化方法採用基於梯度、基於比較器或隨機搜索等搜索策略來探索搜索空間以找到最佳 ST-block，這些策略都非常耗時。
高訓練成本：找到高性能的 ST-block 後，現有方法會針對未見過的 CTS 預測任務從頭開始對其進行訓練，這通常需要數小時，具體取決於任務的規模。
FACTS 框架

FACTS 是一個全自動且高效的 CTS 預測框架，旨在解決現有自動化方法的局限性。
它包括一個自動剪枝策略、一個高效的零樣本搜索策略和一個快速參數適應策略。
自動搜索空間剪枝

FACTS 提出了一種自動化策略，將通用搜索空間剪枝為適用於特定 CTS 預測任務的高質量且相對較小的搜索空間。
它首先將通用搜索空間劃分為質量可區分的子空間，然後迭代地移除質量較低的子空間。
搜索空間劃分基於這樣一個觀察結果，即 S/T 運算符的組合在很大程度上決定了它們組成的 ST-blocks 的準確性，從而導致不同的組合在質量上可區分，其中組合的質量是指其中 ST-blocks 的整體性能，並使用 EDF（錯誤經驗分佈函數）進行衡量。
FACTS 採用迭代搜索空間剪枝策略，逐步減小 EDF 閾值，以解決單次剪枝可能導致移除高質量子空間的問題。
零樣本搜索

FACTS 在眾多不同的 CTS 預測任務上預訓練一個任務感知架構預測器 (TAP)，然後對未見過的任務執行零樣本搜索，以在幾分鐘內找到最佳的 ST-blocks。
TAP 由架構特徵學習 (AFL) 模塊、任務特徵學習 (TFL) 模塊和 MLP 迴歸器組成。
AFL 提取 ST-block 架構的特徵，將其視為有向無環圖 (DAG)，並使用圖卷積網絡 (GCN) 和單層 MLP 對其進行編碼。
TFL 提取 CTS 預測任務的特徵，考慮語義特徵和統計特徵，使用兩層 Set-Transformer 提取任務的語義特徵向量，並使用 tsfresh 提取統計特徵以構建統計特徵向量。
在預訓練階段，FACTS 迭代地收集訓練樣本，並在搜索空間剪枝過程中逐步從剪枝後的高質量搜索空間中收集訓練樣本，以便 TAP 對搜索空間的高質量區域具有更準確的預測能力。
在零樣本搜索階段，FACTS 首先對未見過的任務執行自動搜索空間剪枝，使用預訓練的 TAP 生成的偽 EDF 替換真實 EDF。剪枝完成後，使用預訓練的 TAP 預測剪枝後的搜索空間中所有 ST-blocks 在未見過的任務上的準確性，並返回預測性能最佳的 ST-block 作為最佳 ST-block。
使用參數適應進行快速訓練

找到高性能的 ST-block 後，FACTS 會訓練其參數權重，以便對未見過的任務進行預測。
與將不同 ST-blocks 的訓練視為獨立過程並從頭開始訓練識別出的 ST-block 的現有自動化方法不同，FACTS 繼承了預訓練 ST-blocks 的參數權重，以加速識別出的 ST-block 的訓練。
它提出了一種快速參數適應策略，以可學習的方式繼承預訓練 ST-blocks 的權重，然後在目標任務上微調繼承的權重，以獲得識別出的 ST-block 的最佳權重。
總結

FACTS 是一個全自動且高效的 CTS 預測框架，它解決了現有自動化方法的局限性。
它包括一個自動剪枝策略、一個高效的零樣本搜索策略和一個快速參數適應策略。
實驗結果表明，FACTS 能夠在保持高效率的同時，在未見過的 CTS 預測任務上實現最先進的預測精度。

Stats

Key Insights Distilled From

Fully Automated Correlated Time Series Forecasting in Minutes

by Xinle Wu, Xi... at arxiv.org 11-12-2024

https://arxiv.org/pdf/2411.05833.pdf

Deeper Inquiries

FACTS框架如何處理具有高度非線性和非平穩性的時間序列數據？

FACTS框架本身並沒有明確提出針對高度非線性和非平穩時間序列數據的特殊處理方法。其核心優勢在於自動搜尋空間剪枝、零樣本搜尋和快速參數適應策略，這些策略旨在提高模型搜尋和訓練效率，並未針對特定數據特性進行設計。
然而，FACTS框架的設計允許其利用能夠處理高度非線性和非平穩性的時序模型組件。例如：

搜尋空間設計: FACTS的搜尋空間包含多種時空算子，例如LSTM、GRU、Transformer等，這些算子本身就具備處理非線性和非平穩數據的能力。
組合不同算子: FACTS允許將不同時空算子組合成更複雜的時空塊，從而捕捉更複雜的時空模式，這也有助於處理非線性和非平穩性。
預訓練: FACTS利用預訓練的時空塊參數初始化新模型，這些預訓練模型可能已經學習到一些通用的非線性和非平穩模式，從而提高模型對這類數據的處理能力。
總而言之，FACTS框架本身並未直接解決高度非線性和非平穩性問題，但其靈活的設計和對強大時序模型組件的利用，使其具備處理這類數據的潛力。為了進一步提升FACTS框架對高度非線性和非平穩時間序列數據的處理能力，可以考慮以下改進方向：

引入更專注於非線性和非平穩性處理的時空算子: 例如，可以考慮將處理變點檢測、時間序列分解等技術的算子加入搜尋空間。
設計針對非線性和非平穩性的搜尋空間剪枝策略: 例如，可以根據數據的非線性和非平穩性程度，自適應地選擇更適合的時空算子組合。
開發針對非線性和非平穩性的預訓練策略: 例如，可以使用包含更多非線性和非平穩模式的數據集進行預訓練，或者設計更能捕捉這類特徵的預訓練目標函數。

如果預訓練的 ST-blocks 在結構上與識別出的 ST-block 差異很大，那麼參數權重繼承策略是否仍然有效？

如果預訓練的 ST-blocks 與識別出的 ST-block 結構差異很大，那麼參數權重繼承策略的效果會打折扣，但並非完全失效。
這是因為：

時空算子層面的繼承: FACTS 的參數繼承策略並非直接複製整個 ST-block 的權重，而是分別繼承每個時空算子的參數。即使 ST-block 的整體結構差異很大，但其中可能仍然包含相同的時空算子。例如，兩個 ST-block 都可能使用了 CNN 和 LSTM，只是組合方式不同。
線性變換和微調: FACTS 使用可學習的係數向量對繼承的參數進行線性變換，並在目標任務上進行微調。這允許模型自適應地調整繼承的參數，使其更適合於當前任務和 ST-block 結構。
然而，結構差異過大仍然會影響繼承效果，因為：

時空算子之間的交互: 不同 ST-block 結構意味著時空算子之間的交互方式不同，繼承的參數可能無法準確反映這種差異。
搜尋空間差異: 如果預訓練的 ST-blocks 来自与目标任务差异很大的搜尋空間，那么即使包含相同的时 空算子，其参数也可能不适用。
为了缓解结构差异带来的影响，可以考虑：

相似性度量: 在选择用于参数继承的预训练 ST-blocks 时，可以考虑更精细的相似性度量方法，例如考慮時空算子的连接顺序和层次关系。
分層繼承: 可以探索分層的參數繼承策略，例如先繼承較低層級的時空算子參數，再逐步微調到更高層級。
元學習: 可以利用元學習方法，讓模型學習如何根據 ST-block 結構差異自適應地進行參數繼承。

在其他領域，例如自然語言處理或計算機視覺，零樣本學習方法的進展如何影響時間序列預測的未來發展？

自然語言處理和計算機視覺領域零樣本學習方法的進展，為時間序列預測提供了寶貴的借鑒和啟發，預計將在以下幾個方面影響其未來發展：

更豐富的任務表示: 自然語言處理領域的預訓練語言模型 (PLM) 展現出強大的語義理解能力，可以為時間序列預測提供更豐富的任務表示。例如，可以使用 PLM 將時間序列數據轉換為語義向量，或者從文本描述中提取任務相關信息。
跨模態知識遷移: 計算機視覺領域的零樣本學習方法，例如利用圖像和文本描述之間的關聯性，可以啟發時間序列預測中的跨模態知識遷移。例如，可以利用與時間序列數據相關的圖像、文本等信息，提升模型在數據稀缺情況下的預測能力。
更通用的零樣本預測框架: 自然語言處理和計算機視覺領域發展的元學習、度量學習等零樣本學習方法，可以為時間序列預測提供更通用的框架。例如，可以利用元學習方法訓練一個可以快速適應新任務的模型，或者利用度量學習方法學習一個通用的時間序列相似度度量空間。
總而言之，自然語言處理和計算機視覺領域零樣本學習方法的進展，為時間序列預測提供了新的思路和方法。預計未來將出現更多借鑒和融合跨領域知識的時序預測模型，從而推動該領域的進一步發展。