Основні поняття
aLLM4TSは、時間系列データの表現学習においてLLMsを適応させる革新的なフレームワークであり、時間パッチベースの表現学習に焦点を当てています。
Анотація
研究では、時間系列予測を自己教師付き、マルチパッチ予測タスクとして再構築し、従来のコントラスト学習やマスク・再構築手法よりも効果的にパッチ表現内の時間ダイナミクスを捉える方法が提案されています。
フレームワークは2段階トレーニングを採用し、第1段階では次のパッチ予測に焦点を当てた因果的な連続トレーニングが行われます。
第2段階では、対象となる時間系列シナリオでマルチパッチ予測のためにモデルが微調整されます。
パッチ単位でデコードすることで、モデルは各パッチを個別に時間領域に変換し、直接時系列表現をエンコードします。
Статистика
時間窓サイズL = 336
予測長H ∈ {24, 36, 48, 60}およびH ∈ {96, 192, 336, 720}
平均MSE削減率: GPT4TS比で9.71%
Цитати
"我々はaLLM4TSという新しいフレームワークを導入しました。これはLLMsをパッチベースの時間系列表現学習に適応させる革新的な手法です。"
"我々のアプローチは、パッチごとのデコード層が前例のない要素であることです。これは従来のシーケンス単位でデコードする方法から逸脱しています。"