기존의 시계열 표현 학습 방식은 시간 순서를 그대로 유지하지만, 실제 시계열 데이터에서는 인접하지 않은 부분 간에도 강한 의존성이 존재할 수 있습니다. 본 논문에서는 시간 순서를 재배열하여 시계열 모델의 표현 학습을 개선하는 간단하고 플러그 앤 플레이 가능한 신경망 계층인 S3(Segment, Shuffle, and Stitch)를 제안합니다.
인접 시간 단계를 이용한 긍정쌍 샘플링을 통해 시계열 데이터의 의미론적으로 풍부한 표현을 학습하는 효율적인 자기 지도 학습 프레임워크인 DynaCL을 제안하며, 이는 기존 방법보다 우수한 성능을 보이지만, 비지도 클러스터링 메트릭 점수가 높다고 해서 반드시 다운스트림 작업에 효과적인 것은 아님을 시사합니다.
시계열 패치를 독립적으로 임베딩하는 것이 시계열 표현 학습에 더 우수하다.