본 연구는 다음과 같은 핵심 내용을 다룹니다:
시계열 데이터의 다양한 특성을 고려하여 이를 이산적인 토큰으로 변환하는 새로운 시계열 토크나이저를 제안합니다. 이를 통해 도메인 간 차이를 극복하고 통합된 표현을 학습할 수 있습니다.
높은 비율의 토큰 마스킹을 활용한 자기지도 학습 목적 함수를 설계하여, 다양한 도메인의 정보를 효과적으로 학습할 수 있도록 합니다.
언어 모델을 인코더 네트워크의 초기화 모델로 활용하는 새로운 접근법을 제안합니다. 이를 통해 언어 모델에서 학습된 일반화된 표현을 시계열 데이터 분석에 활용할 수 있습니다.
다양한 실험을 통해 CrossTimeNet의 우수한 성능을 검증하며, 특히 언어 모델 기반 인코더와 높은 토큰 마스킹 비율이 핵심적인 역할을 함을 확인합니다.
To Another Language
from source content
arxiv.org
Ключові висновки, отримані з
by Mingyue Chen... о arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12372.pdfГлибші Запити