核心概念
Das Erlernen unabhängiger Darstellungen von Zeitreihen-Patches ist einer Modellierung der Abhängigkeiten zwischen Patches überlegen, sowohl in Bezug auf die Leistung als auch auf die Effizienz.
摘要
Der Beitrag argumentiert, dass das Erlernen unabhängiger Darstellungen von Zeitreihen-Patches einer Modellierung der Abhängigkeiten zwischen Patches überlegen ist, sowohl in Bezug auf die Leistung als auch auf die Effizienz. Zu diesem Zweck wird die Methode PITS (Patch Independence for Time Series) vorgestellt, die zwei wesentliche Änderungen an der üblichen maskierten Zeitreihenmodellierung vornimmt:
Die Aufgabe wird so angepasst, dass sie unabhängig von den Patches ist, indem die unverdeckten Patches rekonstruiert werden, anstatt die verdeckten vorherzusagen.
Der Encoder wird so gestaltet, dass er unabhängig von den Patches ist, indem die Aufmerksamkeitsmechanik entfernt und stattdessen ein einfaches MLP verwendet wird, um die Korrelation zwischen den Patches zu ignorieren.
Zusätzlich wird ein komplementäres kontrastives Lernen eingeführt, um die benachbarten Zeitreiseninformationen effizient hierarchisch zu erfassen.
Umfangreiche Experimente zu Vorhersage- und Klassifizierungsaufgaben zeigen, dass PITS die Leistung des aktuellen Stands der Technik übertrifft, während es effizienter in Bezug auf die Anzahl der Parameter und die Trainings-/Inferenzzeit ist.
統計資料
Die Rekonstruktion unverdeckter Patches ist unabhängig von der komplementären Maskierung.
引述
Keine relevanten Zitate gefunden.