TripCast：針對旅遊時間序列預測的遮罩二維 Transformer 預訓練模型

Основные понятия

TripCast 是一種新穎的預訓練模型，專為解決旅遊業中常見的雙軸時間序列預測問題而設計，透過將時間序列視為二維數據並採用遮罩重建訓練策略，能有效捕捉事件時間和提前時間之間的複雜依賴關係，進而提升預測準確度。

Аннотация

研究論文摘要

TripCast：針對旅遊時間序列預測的遮罩二維 Transformer 預訓練模型

研究目標： 本研究旨在解決旅遊業中普遍存在的雙軸時間序列預測問題，特別是事件時間和提前時間之間複雜依賴關係的捕捉。

方法： 本文提出了一種名為 TripCast 的新型預訓練模型，將時間序列視為二維數據，並採用遮罩重建訓練策略。具體而言，TripCast 採用 Transformer 架構，並結合隨機遮罩和漸進式遮罩兩種策略，學習時間序列數據中的局部和全局依賴關係。

主要發現： 在五個真實世界的大規模旅遊數據集上進行的實驗表明，TripCast 在域內預測任務中優於現有的深度學習和預訓練模型。此外，TripCast 在域外預測任務中也表現出良好的可擴展性和遷移性，證明其作為旅遊時間序列預測基礎模型的潛力。

主要結論： TripCast 為旅遊時間序列預測提供了一種新穎且有效的解決方案。透過將時間序列視為二維數據並採用遮罩重建訓練策略，TripCast 能夠有效捕捉事件時間和提前時間之間的複雜依賴關係，進而提升預測準確度。

意義： 本研究為旅遊時間序列預測領域做出了重要貢獻，為預測旅遊需求、優化資源配置和提升服務品質提供了新的思路。

局限性和未來研究方向： 未來研究可以探索更先進的預訓練任務和模型架構，以進一步提升 TripCast 的性能。此外，還可以將 TripCast 應用於其他具有雙軸時間序列特徵的領域。

Статистика

TripCastsmall 模型包含不到 100 萬個參數。
TripCastlarge 模型包含近 2000 萬個參數。
所有模型都使用批量大小為 256 的數據進行訓練，訓練迭代次數為 50000 次。

Цитаты

"For the first time, we formulate the problem of trip time series forecasting and introduce a novel modelling paradigm that treats trip time series as 2D data to capture the intrinsic correlations and causality between different event times and leading times."
"We perform comprehensive experiments based on large-scale datasets from an online travel agency. The results show that our method as a zero-shot forecaster, outperforms deep learning and pre-trained models in in-domain scenarios and achieves strong scalability and transferability in out-domain scenarios."

Ключевые выводы из

TripCast: Pre-training of Masked 2D Transformers for Trip Time Series Forecasting

by Yuhua Liao, ... в arxiv.org 10-25-2024

https://arxiv.org/pdf/2410.18612.pdf

Дополнительные вопросы

如何將 TripCast 模型應用於其他具有雙軸時間序列特徵的領域，例如金融市場預測或交通流量預測？

TripCast 模型的核心優勢在於其能夠有效地捕捉雙軸時間序列數據中的時空相關性。這種能力使其在其他具有類似數據結構的領域中也具有應用潛力。以下是一些將 TripCast 應用於金融市場預測和交通流量預測的思路：
金融市場預測:

數據建模: 可以將金融時間序列數據（例如股票價格、交易量等）組織成類似於 TripCast 輸入的二維矩陣。其中，事件時間軸可以代表交易日，而領先時間軸可以代表交易時段（例如，每小時或每分鐘）。
特徵工程: 除了價格和交易量等基本特徵外，還可以考慮引入其他相關因素，例如技術指標、宏觀經濟數據、新聞情緒等，以提升模型的預測能力。
模型調整: 可能需要根據金融市場數據的特點對 TripCast 模型進行一些調整。例如，可以嘗試使用不同的損失函數（例如，均方誤差或方向預測準確率）來優化模型的預測目標。
交通流量預測:

數據建模: 可以將交通流量數據（例如車流量、車速等）組織成二維矩陣。事件時間軸可以代表日期，而領先時間軸可以代表時間段（例如，每小時）。
空間信息整合: 交通流量數據通常具有很強的空間相關性。可以考慮將空間信息（例如，道路網絡結構、POI 分佈等）整合到 TripCast 模型中，以提升其預測精度。
外部因素考慮: 交通流量容易受到天氣、節假日、突發事件等外部因素的影響。可以將這些因素作為額外輸入，幫助模型更好地捕捉交通流量的變化規律。
需要注意的是，將 TripCast 應用於新的領域需要進行充分的數據分析和模型調試。不同領域的數據特點和預測目標可能存在差異，需要針對性地調整模型結構和訓練策略。

如果旅遊時間序列數據中存在明顯的週期性或趨勢性變化，TripCast 模型的性能是否會受到影響？如何改進模型以應對這些情況？

如果旅遊時間序列數據中存在明顯的週期性或趨勢性變化，TripCast 模型的性能可能會受到影響。這是因為 TripCast 模型主要依賴於數據中的時空相關性進行預測，而週期性和趨勢性變化可能會干擾模型對這些相關性的學習。
以下是一些改進 TripCast 模型以應對週期性和趨勢性變化的思路：

數據預處理:

週期性: 可以使用季節性分解方法（例如，STL 分解）將時間序列數據分解成趨勢項、季節項和殘差項。然後，可以將季節項作為額外輸入提供給 TripCast 模型，或者在預測後將其加回到模型的輸出中。
趨勢性: 可以使用趨勢擬合方法（例如，線性回歸或多項式回歸）提取時間序列數據中的趨勢項。然後，可以將趨勢項作為額外輸入提供給 TripCast 模型，或者在預測後將其加回到模型的輸出中。

模型結構調整:

引入週期性編碼: 可以借鉴自然語言處理中的位置编码方法，为 TripCast 模型引入周期性编码。例如，可以使用正弦函数和余弦函数生成周期性编码向量，并将其添加到模型的输入中。
使用帶有記憶單元的模型: 可以嘗試使用帶有記憶單元的模型（例如，LSTM 或 GRU）來替代 TripCast 模型中的 Transformer 編碼器。這些模型能夠更好地捕捉時間序列數據中的長期依賴關係，從而提高模型對週期性和趨勢性變化的適應能力。
總之，處理週期性和趨勢性變化需要結合數據預處理和模型結構調整等多種方法。需要根據具體的數據特點和預測目標選擇合適的策略，以提升 TripCast 模型的預測精度。

除了預測準確度之外，還有哪些指標可以用於評估 TripCast 模型的性能？例如，模型的可解釋性、計算效率和對噪聲數據的魯棒性等。

除了預測準確度（MAE、WAPE）之外，評估 TripCast 模型性能還可以考慮以下指標：

可解釋性:

注意力機制可視化: TripCast 模型中的注意力機制可以提供一定的可解釋性。通過可視化注意力權重矩陣，可以分析模型在進行預測時關注哪些歷史數據點或特徵。
特徵重要性分析: 可以使用特徵重要性分析方法（例如，排列重要性）來評估不同特徵對模型預測結果的影響程度，從而理解模型的決策依據。

計算效率:

訓練時間: 訓練 TripCast 模型所需的時間，特別是在大規模數據集上的訓練時間。
預測速度: 模型生成單個預測值所需的時間。
内存占用: 模型训练和预测所需的内存空间。

對噪聲數據的魯棒性:

抗噪聲能力: 評估模型在存在噪聲數據（例如，缺失值、異常值等）的情況下的預測精度。
泛化能力: 評估模型在面對未見數據（例如，新的航線、新的日期範圍等）時的預測性能。
在實際應用中，應該根據具體的業務需求和數據特點選擇合適的指標來評估 TripCast 模型的性能。例如，如果模型的可解釋性非常重要，則應該重點關注注意力機制可視化和特徵重要性分析等指標。如果模型的計算效率是主要瓶頸，則應該關注訓練時間、預測速度和内存占用等指標。