Core Concepts
TFB는 다양한 도메인의 데이터셋과 다양한 예측 방법을 포함하여 시계열 예측 방법을 포괄적이고 공정하게 평가할 수 있는 자동화된 벤치마크 도구이다.
Abstract
TFB는 시계열 예측 방법을 포괄적이고 공정하게 평가하기 위해 다음과 같은 특징을 가지고 있다:
데이터셋 구축:
10개 도메인(교통, 전기, 에너지, 환경, 자연, 경제, 주식, 금융, 건강, 웹)에서 25개의 다변량 시계열 데이터셋과 8,068개의 단변량 시계열 데이터셋을 수집하여 다양한 특성을 반영함
데이터셋의 특성(추세, 계절성, 정상성, 변동성, 전이성, 상관성)을 분석하여 데이터셋의 다양성을 검증
예측 방법 포함:
통계적 학습, 기계 학습, 심층 학습 방법 등 다양한 예측 방법을 포함하여 편향된 평가를 방지함
평가 전략 및 지표:
고정 예측과 롤링 예측 전략을 지원하며, MAE, MSE, RMSE, MAPE, SMAPE, WAPE, MASE, MSMAPE 등 다양한 평가 지표를 제공
통합 파이프라인:
데이터 로딩, 전처리, 모델 호출, 평가, 결과 보고 등의 과정을 자동화하여 일관성 있고 공정한 비교를 지원
이를 통해 TFB는 시계열 예측 방법의 성능을 포괄적이고 공정하게 평가할 수 있으며, 연구자들이 새로운 예측 방법을 설계하는 데 도움을 줄 수 있다.
Stats
시계열 데이터의 특성을 나타내는 대표적인 지표들은 다음과 같다:
추세 강도: 0.998
계절성 강도: 0.650
정상성: 1.8E-29
변동성: 0.036
전이성: 0.441
상관성: 0.333
Quotes
"TFB는 다양한 도메인의 데이터셋과 다양한 예측 방법을 포함하여 시계열 예측 방법을 포괄적이고 공정하게 평가할 수 있는 자동화된 벤치마크 도구이다."
"TFB는 데이터 로딩, 전처리, 모델 호출, 평가, 결과 보고 등의 과정을 자동화하여 일관성 있고 공정한 비교를 지원한다."