Der Artikel stellt den Rough Transformer vor, eine Weiterentwicklung des klassischen Transformer-Modells für die Modellierung kontinuierlicher Zeitreihen.
Zeitreihendaten in medizinischen Anwendungen weisen oft lange Abhängigkeiten auf und werden unregelmäßig beobachtet. Traditionelle rekurrente Modelle haben hier Schwierigkeiten. Neuere Ansätze wie Neural ODEs und Transformer-Architekturen können diese Herausforderungen adressieren, haben aber hohe Rechenkosten bei moderaten Sequenzlängen.
Der Rough Transformer überwindet diese Einschränkungen, indem er kontinuierliche Zeitreihenrepräsentationen nutzt. Dafür wird die Zeitreihe zunächst linear interpoliert und dann über die Signatur-Transformation in eine kompakte, kontinuierliche Darstellung überführt. Die darauf aufbauende Multi-View-Signature-Attention kann sowohl lokale als auch globale Abhängigkeiten effizient erfassen.
Die Experimente zeigen, dass der Rough Transformer die Leistung des klassischen Transformers übertrifft und gleichzeitig deutlich recheneffizienter ist als andere kontinuierliche Modelle wie Neural ODEs. Zudem ist er robust gegenüber Änderungen in der Abtastfrequenz der Eingabedaten.
A otro idioma
del contenido fuente
arxiv.org
Consultas más profundas