불규칙적으로 샘플링된 시계열 데이터에 대한 효율적인 예측 모델인 함수 잠재 동역학(Functional Latent Dynamics, FLD) 모델을 제안한다. FLD는 복잡한 미분 방정식을 해결할 필요 없이 단순한 곡선 함수를 사용하여 잠재 상태를 모델링함으로써 ODE 기반 모델보다 뛰어난 성능과 효율성을 보인다.
다변량 시계열 예측에서 Transformer 아키텍처는 역사적 시퀀스에서 특징을 효과적으로 추출하고 예측 시퀀스의 시간 의존성을 학습하는 데 어려움을 겪는다. 이 문제를 해결하기 위해 본 논문은 시계열 예측을 역사적 시퀀스 학습과 예측 시퀀스 학습으로 구분하는 Cross-Variable and Time Network(CVTN)를 제안한다.
LSTM 네트워크에서 공변량 예측은 특정 조건에서만 성능 향상을 가져올 수 있으며, 예측 기간이 늘어날수록 오히려 성능을 저하시킬 수 있다.
Kernel Corrector LSTM은 데이터 품질 문제를 해결하여 시계열 예측 성능을 향상시킨다.
ARIMA 모델을 사용하여 가입자 데이터 사용량 증가를 예측할 수 있다.
Mamba와 Transformer를 결합한 하이브리드 프레임워크 Mambaformer를 제안하여 장기 및 단기 시계열 예측 성능을 향상시킴
대규모 시계열 데이터로 사전 학습된 단일 기반 모델이 다양한 도메인의 시계열 데이터에 대해 우수한 제로샷 예측 성능을 보여준다.
본 연구는 Informer의 ProbSparse 및 전체 주의력 계층을 윈도우 주의력과 푸리에 혼합 블록으로 대체하여 Informer를 가속화하는 FWin Transformer와 경량 버전 FWin-S를 소개한다. FWin 주의력 접근법은 희소 주의력 가설이나 데이터의 주기적 패턴에 의존하지 않는다. 단변량 및 다변량 데이터셋에 대한 실험과 이론적 보장을 통해 FWin이 Informer의 성능을 개선하거나 유지하면서 장기 시계열 예측에서 빠른 추론을 달성할 수 있음을 입증했다.
시계열 데이터의 잔차를 점진적으로 학습하여 과적합 문제를 해결하고 예측 성능을 향상시킬 수 있다.
데이터 세트 유사성이 높을수록 예측 정확도가 높아지고 편향이 감소하며, 데이터 세트 다양성이 높을수록 예측 정확도와 불확실성 추정이 향상되지만 편향이 증가한다.