Core Concepts
본 연구는 사전 학습된 언어 모델과 다양한 프롬프트의 융합을 통해 제로샷 시계열 분류 문제를 해결하고자 한다. 실험 결과 언어 모델의 입력 토큰 제한이 시계열 데이터의 특징 표현에 영향을 미치는 것으로 나타났다.
Abstract
본 연구는 언어 모델과 프롬프트 엔지니어링을 활용하여 제로샷 시계열 분류 문제를 해결하고자 한다. 구체적으로 다음과 같은 내용을 다룬다:
단순 설명 프롬프트(SDP), 상세 설명 프롬프트(DDP), 특징 프롬프트(FP)를 설계하여 언어 모델의 시계열 데이터 표현 능력을 향상시킨다.
최대 토큰 입력 제한을 극복하기 위해 시계열을 여러 부분 시계열로 분할하고 해당 부분 프롬프트를 구성한다.
두 가지 언어 모델(BERT, Longformer)을 활용하여 실험을 수행하고, 결과를 분석한다.
실험 결과 분석을 통해 언어 모델의 입력 토큰 제한이 시계열 데이터의 특징 표현에 영향을 미치는 것을 확인했다. 또한 다양한 프롬프트의 융합이 일관된 성능 향상으로 이어지지 않음을 발견했다.
향후 연구 방향으로 시계열 데이터 인코더 개발, 다양한 유형의 프롬프트 활용, 그리고 프롬프트 융합 모델 개발 등을 제안한다.
Stats
시계열의 길이는 [length of time series]이며, [number of sub-series]개의 부분 시계열로 분할되었고, 각 부분 시계열의 길이는 [length of sub-series]입니다.
[num of features]개의 특징이 Tsfresh를 통해 추출되었으며, [feature name]의 값은 [feature value]입니다.
Quotes
"언어 모델의 최대 입력 토큰 제한으로 인해 시계열 데이터의 중요한 문맥 정보가 손실되어 성능 저하가 발생했습니다."
"다양한 프롬프트의 융합이 일관된 성능 향상으로 이어지지 않았습니다."