Konsep Inti
Durch die Neukonzeption der Zeitreihenvorhersage als selbstüberwachte Multi-Patch-Vorhersageaufgabe und die Einführung eines innovativen patch-basierten Dekodierers kann aLLM4TS die Fähigkeiten von Großen Sprachmodellen effektiv für die Zeitreihenrepräsentationslernung nutzen.
Abstrak
Die Studie präsentiert aLLM4TS, ein innovatives Framework, das Große Sprachmodelle (LLMs) für das Lernen von Zeitreihenrepräsentationen adaptiert. Der Kernansatz ist, die Zeitreihenvorhersage als selbstüberwachte Multi-Patch-Vorhersageaufgabe neu zu konzipieren, um die zeitlichen Dynamiken in den Patch-Repräsentationen effektiver zu erfassen.
Das Framework umfasst ein zweistufiges selbstüberwachtes Trainingsvorgehen:
- Eine kausale kontinuierliche Vortrainingsphase auf verschiedenen Zeitreihendatensätzen, die auf der Vorhersage des nächsten Patches basiert, um die Fähigkeiten der LLMs an die Besonderheiten von Zeitreihendaten anzupassen.
- Eine Feinabstimmung für die Multi-Patch-Vorhersage im jeweiligen Zeitreihenkontext.
Ein zentraler Aspekt ist der innovative patch-basierte Dekodierer, der jedes Patch unabhängig in den Zeitbereich dekodiert, anstatt eine sequenzbasierte Decodierung zu verwenden. Dies ermöglicht eine effizientere Erfassung der zeitlichen Patch-Repräsentationen.
aLLM4TS zeigt überlegene Leistungen in verschiedenen nachgelagerten Aufgaben und markiert einen wichtigen Fortschritt bei der Anpassung von LLMs für die Zeitreihenanalyse.
Statistik
Die Zeitreihenvorhersage kann als P(xL+1:L+H
i|x1:L
i) = QL+H
t=L+1 P(xt
i|x1:t−1
i) formuliert werden, wobei L die Länge des Betrachtungsfensters und xt
i der Wert der i-ten Variablen zum Zeitpunkt t ist.
Die Vortrainingsphase der kausalen Sprachmodelle nutzt das Ziel, den nächsten Token basierend auf der Vergangenheitsinformation vorherzusagen, definiert als LCLM = PN
i=2 logP(xi|x1, · · · , xi−1), wobei N die Anzahl der Token und xi den i-ten Token bezeichnet.
Kutipan
"Durch die Neukonzeption der Zeitreihenvorhersage als selbstüberwachte Multi-Patch-Vorhersageaufgabe und die Einführung eines innovativen patch-basierten Dekodierers kann aLLM4TS die Fähigkeiten von Großen Sprachmodellen effektiv für die Zeitreihenrepräsentationslernung nutzen."
"aLLM4TS zeigt überlegene Leistungen in verschiedenen nachgelagerten Aufgaben und markiert einen wichtigen Fortschritt bei der Anpassung von LLMs für die Zeitreihenanalyse."