RNNの活性化層は時系列のラグ構造を上手く学習するが、数層先で重要な情報を失っていくため、大きなラグ構造を持つ時系列の予測精度が低下する。また、移動平均やヘテロスケダスティックな時系列プロセスをうまくモデル化できない。