Основные понятия
대규모 언어 모델(LLM)은 시계열 데이터 분석 및 보고에 자동화 잠재력을 제공하지만, 일반 목적 LLM의 고유한 능력을 체계적으로 평가하는 것이 중요하다.
Аннотация
이 논문은 시계열 데이터 이해를 위한 LLM의 능력을 체계적으로 평가하기 위한 프레임워크를 제안한다. 먼저 시계열 데이터의 핵심 특성을 체계적으로 분류하는 포괄적인 분류 체계를 소개한다. 이를 바탕으로 다양한 특성을 포함하는 합성 시계열 데이터 세트를 구축했다. 이 데이터 세트를 사용하여 최신 LLM의 성능을 평가했다. 실험 결과는 LLM이 시계열 데이터 이해에서 강점과 약점을 보여주며, 데이터 형식, 쿼리 데이터 포인트의 위치, 시계열 길이 등의 요인이 LLM의 성능에 영향을 미치는 것을 밝혀냈다.
Статистика
시계열 데이터 길이가 증가함에 따라 GPT3.5의 검색 성능이 점진적으로 저하되지만, Llama2와 Vicuna는 60단계 이상의 시계열에서 성능 저하가 더 가파르다.
GPT 모델은 시계열 데이터 내 숫자 존재 여부 및 특정 날짜의 값 검색에서 모든 사분면에서 거의 완벽한 성능을 보였지만, Llama2와 Vicuna는 복잡한 시계열 데이터에서 위치 편향을 보였다.
Цитаты
"대규모 언어 모델(LLM)은 시계열 데이터 분석 및 보고에 자동화 잠재력을 제공한다."
"이 논문은 시계열 데이터 이해를 위한 LLM의 능력을 체계적으로 평가하기 위한 프레임워크를 제안한다."
"실험 결과는 LLM이 시계열 데이터 이해에서 강점과 약점을 보여주며, 데이터 형식, 쿼리 데이터 포인트의 위치, 시계열 길이 등의 요인이 LLM의 성능에 영향을 미치는 것을 밝혀냈다."