核心概念
大規模な時系列データセットを使用して事前学習された単一のファウンデーションモデルは、個別のデータセットに特化した最先端の監督学習モデルに匹敵する優れた零次学習パフォーマンスを発揮する。
摘要
本論文では、TimesFMと呼ばれる時系列予測のための単一のファウンデーションモデルを提案している。このモデルは、大規模な時系列データセット(約100億時間点)を使用して事前学習されており、さまざまな予測期間、時間粒度、ドメインにわたって優れた零次学習パフォーマンスを発揮する。
主な特徴は以下の通り:
- 入力パッチングと復号器スタイルのアーキテクチャを採用し、効率的な事前学習を可能にしている
- 実世界のデータ(Googleトレンド、Wikipediaページビュー)と合成データを組み合わせた大規模な時系列データセットを使用して事前学習を行っている
- 様々な公開ベンチマークデータセットで、個別に最適化された最先端の監督学習モデルに匹敵する優れた零次学習パフォーマンスを示している
- 事前学習モデルのサイズは200Mパラメータと比較的小さいが、大規模な言語モデルに比べて遥かに優れた零次学習パフォーマンスを発揮している
統計資料
時系列予測の文脈で見た場合、提案モデルは最先端の監督学習モデルに匹敵する精度を達成している。
Monash ベンチマークでは、提案モデルが最も優れたパフォーマンスを示している。
Dartsベンチマークでは、提案モデルが最良モデルと同等の精度を示している。
ETTデータセットの長期予測タスクでは、提案モデルが最良モデルを上回るパフォーマンスを発揮している。
引述
"大規模な言語モデルのようなLLMsを零次学習の時系列予測手法として推奨するという最近の研究に対して、専用の時系列データで事前学習されたファウンデーションモデルの方が、はるかに優れた零次学習パフォーマンスを発揮できることを示している。"
"提案モデルは、パラメータ数が200Mと比較的小さいにもかかわらず、大規模な言語モデルに比べて遥かに優れた零次学習パフォーマンスを発揮している。"