시계열 모델링

선형 진동 상태 공간 모델: 장거리 상호 작용 학습을 위한 안정적이고 효율적인 접근 방식

본 논문에서는 장거리 시퀀스에서 효율적인 학습을 위해 고안된 새로운 상태 공간 모델인 LinOSS(선형 진동 상태 공간 모델)를 제안합니다. LinOSS는 생물학적 신경망의 피질 역학에서 영감을 받아 강제 고조파 발진기 시스템을 기반으로 합니다. 안정적인 이산화와 고속 연관 병렬 스캔을 사용한 시간 통합을 통해 LinOSS는 비음수 대각 상태 행렬만 요구하면서도 안정적인 동역학을 생성합니다. 또한 LinOSS는 시간에 따라 변하는 함수 간의 연속적이고 인과적인 연산자 매핑을 원하는 정확도로 근사할 수 있는 범용 근사기임을 엄격하게 증명합니다. 광범위한 시계열 작업에 대한 실험 결과는 LinOSS가 최첨단 시퀀스 모델보다 일관되게 성능이 뛰어나다는 것을 보여줍니다.

tsGT: Stochastic Time Series Modeling With Transformer

선형 진동 상태 공간 모델: 장거리 상호 작용 학습을 위한 안정적이고 효율적인 접근 방식