Core Concepts
제안된 모달리티 인식 트랜스포머 모델은 텍스트 데이터와 시계열 데이터를 효과적으로 활용하여 금융 시계열을 정확하게 예측할 수 있다.
Abstract
이 논문에서는 금융 시계열 예측을 위한 새로운 모달리티 인식 트랜스포머 모델을 제안한다. 기존의 트랜스포머 기반 모델들은 단일 입력 모달리티에 의존하여 예측을 수행하지만, 제안된 모델은 텍스트 데이터와 시계열 데이터를 모두 활용하여 더 정확한 예측 성능을 달성한다.
제안된 모델의 핵심 구성요소는 다음과 같다:
특징 수준 주의 메커니즘: 각 모달리티에서 가장 관련성 높은 특징에 더 큰 주의를 기울이도록 한다.
모달리티 인식 인코더: 모달리티 내부 및 모달리티 간 상호작용을 효과적으로 모델링하기 위한 새로운 멀티헤드 주의 메커니즘을 도입한다.
모달리티 인식 디코더: 타겟 시계열과 각 입력 모달리티 간의 상관관계를 효과적으로 발견하여 더 나은 예측 성능을 달성한다.
제안된 모델은 연방준비위원회(FED) 보고서와 미국 금리 데이터에 대한 실험을 통해 기존 방법들에 비해 우수한 예측 성능을 보였다. 이를 통해 모달리티 인식 트랜스포머가 금융 시계열 예측 문제에 효과적으로 활용될 수 있음을 확인하였다.
Stats
연방준비위원회(FED) 보고서와 미국 금리 데이터를 활용하여 금융 시계열 예측 실험을 수행하였다.
2년, 5년, 10년, 30년 만기의 미국 금리 데이터를 사용하였다.
예측 기간은 1개월, 3개월, 6개월로 설정하였다.
Quotes
"제안된 모달리티 인식 구조는 모달리티 간 시간 동기화가 일치하지 않는 경우에도 유연하게 대응할 수 있는 기능을 제공한다."
"제안된 모달리티 인식 트랜스포머는 각 모달리티 내부의 정보와 모달리티 간 상호작용을 효과적으로 활용하여 타겟 시계열의 미래 행동을 더 정확하게 예측할 수 있다."