Core Concepts
본 연구는 하위 인접 이웃에 초점을 맞춘 새로운 주의 메커니즘을 제안하여 비지도 학습 기반 시계열 이상 탐지 성능을 향상시킨다.
Abstract
이 논문은 시계열 이상 탐지를 위한 새로운 접근법인 Sub-Adjacent Transformer를 제안한다. 기존 방법들은 타깃 지점의 모든 이웃을 활용하여 재구성을 수행하지만, 제안 방법은 타깃 지점의 바로 인접한 이웃이 아닌 하위 인접 이웃에 초점을 맞춘다. 이는 이상치가 일반적으로 바로 인접한 이웃보다 하위 인접 이웃과 더 큰 차이를 보이기 때문이다.
제안 방법은 두 가지 핵심 개념을 도입한다. 첫째, 하위 인접 이웃은 타깃 지점에서 일정 거리 떨어진 영역을 의미한다. 둘째, 하위 인접 주의 기여도는 주의 행렬의 해당 열에서 하위 인접 영역에 해당하는 값들의 합을 의미한다. 이 두 개념을 재구성 손실 함수에 통합하여, 이상치에 대한 재구성 오차를 증가시킴으로써 이상 탐지 성능을 향상시킨다.
또한 제안 방법은 선형 주의 메커니즘을 활용하여 원하는 주의 행렬 패턴을 달성한다. 기존 Softmax 기반 주의 메커니즘은 이러한 패턴 형성을 방해하지만, 선형 주의는 더 큰 유연성을 제공한다. 더불어 성능 향상을 위해 학습 가능한 매핑 함수를 제안한다.
실험 결과, 제안 모델은 6개의 실제 데이터셋과 1개의 합성 데이터셋에서 최신 기술 대비 우수한 성능을 보였다. 특히 다중 엔티티 데이터셋에서도 강력한 성능을 발휘하였다.
Stats
이상치는 일반적으로 바로 인접한 이웃보다 하위 인접 이웃과 더 큰 차이를 보인다.
하위 인접 주의 기여도는 이상치에서 더 낮게 나타난다.
Quotes
"이상치는 일반적으로 바로 인접한 이웃보다 하위 인접 이웃과 더 큰 차이를 보인다."
"하위 인접 주의 기여도는 이상치에서 더 낮게 나타난다."