核心概念
時系列予測は、従来の統計的手法や機械学習から、MLP、CNN、RNN、GNNなどのディープラーニングへと進化を遂げてきたが、近年ではTransformerを超えるシンプルな線形モデルが登場するなど、多様なアーキテクチャが台頭し、新たな時代を迎えている。
要約
時系列予測に関する研究論文の包括的な調査:アーキテクチャの多様化と未解決の課題
本論文は、時系列予測(TSF)の進化、特に近年におけるアーキテクチャの多様化と未解決の課題に焦点を当てた包括的な調査論文のサマリーです。
時系列予測は、経済計画、サプライチェーン管理、医療診断など、様々な分野において意思決定の鍵となる情報を提供する重要なタスクです。従来は統計的手法や機械学習が用いられてきましたが、近年では、MLP、CNN、RNN、GNNといったディープラーニングアーキテクチャが開発され、TSF問題解決に適用されてきました。しかし、それぞれのディープラーニングアーキテクチャの帰納的バイアスによって生じる構造的な制限が、その性能を制約してきました。
従来の手法からディープラーニングへ
初期のTSFは、移動平均に基づく統計的手法が主流でしたが、その後、指数平滑化法やARIMAなどの従来型アプローチへと進化しました。機械学習技術である決定木やサポートベクターマシン(SVM)も頻繁に使用されましたが、複雑な非線形パターンの学習には限界がありました。データ量の増加とハードウェアの計算能力の向上に伴い、MLP、RNN、CNN、GNNなどの様々なディープラーニングアーキテクチャが開発され、より複雑なパターンの学習が可能になりました。
Transformerの台頭と新たな波
長期的な依存関係の処理に優れたTransformerは、自然言語処理において優れた性能を発揮し、時系列データにも自然に拡張されました。TransformerはTSFにおいても優れた性能を示し、広く普及しましたが、近年では、シンプルな線形モデルがTransformerモデルを凌駕するケースも出てきました。その結果、従来のディープラーニング手法が見直されるとともに、Foundationモデル、拡散モデル、Mambaモデルといった様々なアーキテクチャへの関心が高まっています。Transformerモデルは性能が向上し続けており、依然として重要な役割を担っています。このように、TSFは、いずれのアプローチにも支配されることなく、様々な手法が活発に競争する、モデリングのルネッサンスを迎えています。