Was ist ein autoregressives Modell?

Es handelt sich um eine einfache, aber leistungsstarke Technik für die Zeitreihenanalyse, die äußerst interpretierbare und effektive Vorhersagen liefert, wenn Ihre Daten Korrelationen über die Zeitschritte hinweg enthalten. Die Korrelation über Zeitschritte hinweg wird als Autokorrelation bezeichnet, da sie ein Maß dafür ist, wie stark ein Wert mit sich selbst korreliert. Ein rein linearer Prozess korreliert über die Zeitreihe hinweg perfekt mit sich selbst, sodass es möglich ist, den nächsten Wert mithilfe eines autoregressiven Prozesses exakt aus den vorherigen Werten vorherzusagen. Ein vollständig stochastischer Prozess wie weißes Rauschen weist keine Autokorrelation auf, da wir die aktuellen oder zukünftigen Werte nicht anhand der vergangenen Werte vorhersagen können.

Eine Zeitreihe ist eine Abfolge von Messungen derselben Variablen oder Gruppe von Variablen, die im Zeitverlauf durchgeführt werden. Die Messungen werden in der Regel in gleichmäßigen Abständen durchgeführt, z. B. stündlich, monatlich oder jährlich. Zum Beispiel könnten wir Werte haben, die die Anzahl der Fluggäste in einem Land messen, wobei die Messungen jeden Monat durchgeführt werden. In diesem Fall steht y für die gemessenen Passagierzahlen und unterstreicht die Existenz von Messwerten im Zeitverlauf. Der Wert von t wird als Index und nicht als das übliche i angewendet, um anzuzeigen, dass y_t den Wert von y zu einem beliebigen Zeitpunkt darstellt.

Ein autoregressives Modell liegt vor, wenn wir einen Wert aus einer Zeitreihe auf frühere Werte aus derselben Zeitreihe zurückführen. Zum Beispiel verwendet y_t bei einer Regression auf y_t-1 den vorherigen Wert von y, der als verzögerter Wert bezeichnet wird, um den aktuellen Wert von y vorherzusagen. In diesem einfachen Regressionsmodell ist die abhängige Variable im vorherigen Zeitraum zum Prädiktor geworden. Die Fehler repräsentieren alle üblichen Annahmen über Fehler in einem einfachen linearen Regressionsmodell. Wir betrachten die Ordnung einer Autoregression oft als die Anzahl der vorhergehenden Werte in der Reihe, die zur Vorhersage des aktuellen Werts verwendet wird. y_t bei einer Regression auf y_t-1 ist eine Autoregression erster Ordnung, die als AR(1) bezeichnet wird.

Bei einer multiplen linearen Regression ist die Ausgabe der Regression eine Linearkombination mehrerer Eingabevariablen. In Autoregressionsmodellen ist die Ausgabe der zukünftige Datenpunkt, der als lineare Kombination der vergangenen p Datenpunkte ausgedrückt wird. p ist die Anzahl der Verzögerungen, die in die Gleichung einfließen. Ein AR(1)-Modell wird mathematisch wie folgt definiert:

 $x_t=\delta +{\varphi }_1{x}_{t-1}+{\alpha }_t$

x_t-1 ist der vergangene Wert der Reihe von einer Verzögerung zurück

φ ist der berechnete Koeffizient für diese Verzögerung

Alpha_t ist weißes Rauschen (z. B. Zufälligkeit)

Delta ist definiert als

 $\delta =(1-\sum _p^{i=1}{\varphi }_i)\mu$

für ein autoregressives Modell der Ordnung p, wobei p die Gesamtzahl der für Verzögerungen berechneten Kovariaten und μ der Prozessmittelwert ist.

Wenn dem Modell weitere Verzögerungen hinzugefügt werden, fügen wir der Gleichung weitere Koeffizienten und Verzögerungsvariablen hinzu:

 $x_t=\delta +{\varphi }_1{x}_{t-1}+{\varphi }_2{x}_{t-2}+{\alpha }_t$

Das vorangegangene Modell ist eine Autoregression zweiter Ordnung, da es zwei Verzögerungen enthält.

Die allgemeine Form einer autoregressiven Gleichung für eine Ordnung p lautet

 $x_t=\delta +{\varphi }_1{x}_{t-1}...{\varphi }_p{x}_{t-p}+{\alpha }_t$

Um autoregressive Modelle für Zeitreihenprognosen zu verwenden, nutzen wir den aktuellen Zeitwert und alle historischen Daten, um den nächsten Zeitschritt vorherzusagen. Zum Beispiel könnte ein AR-Modell mit 2 Verzögerungen einen einzelnen Zeitschritt vorhersagen, etwa so:

 $x_{t+1}=\delta +{\varphi }_1{x}_t+{\varphi }_2{x}_{t-1}+{\alpha }_{t+1}$

Die gängigsten Ansätze zur Berechnung der Koeffizienten für jede Verzögerung sind entweder die MLE-Schätzung (Maximum Likelihood Estimation) oder die Schätzung nach der Methode der kleinsten Quadrate (OLS). Die gleichen Einschränkungen, die diese Ansätze bei der Anpassung einer Regression eines linearen Modells haben, gelten auch für die Anpassung autoregressiver Modelle. Je nachdem, ob Sie Python oder R und die Bibliothek verwenden, können Sie möglicherweise zusätzlich zu MLE oder OLS die Yule-Walker- oder Burg-Methode verwenden.

In vielen Bibliotheken können Benutzer auswählen, welche Kriterien bei der Auswahl von Modellen aus allen Kandidatenmodellen verwendet werden sollen. Beispielsweise können Sie die Modellkoeffizienten verwenden, um das Akaike-Informationskriterium oder das Bayes'sche Informationskriterium je nach Anwendungsfall und Daten zu minimieren.

Die Autokorrelation berechnet die Korrelation zwischen einer Zeitreihe und einer verzögerten Version derselben. Die Verzögerung ist die Anzahl der Zeiteinheiten, um die die Zeitreihe verschoben wird. Eine Verzögerung von 1 vergleicht die Reihe mit einem vorherigen Zeitschritt. Eine Verzögerung von 2 vergleicht sie mit dem Zeitschritt davor. Der Grad der Autokorrelation bei einer bestimmten Verzögerung zeigt die zeitliche Abhängigkeit der Daten. Wenn die Autokorrelation hoch ist, besteht eine starke Beziehung zwischen dem aktuellen Wert und dem Wert mit dieser Verzögerung. Wenn die Autokorrelation niedrig ist oder nahe bei Null liegt, deutet dies auf eine schwache oder gar keine Beziehung hin.

Ein gängiger Ansatz zur Visualisierung der Autokorrelation ist die Berechnung der Autokorrelationsfunktion (ACF) oder eines ACF-Diagramms, das die Autokorrelationskoeffizienten bei verschiedenen Verzögerungen anzeigt.

Die horizontale Achse steht für die Verzögerung und die vertikale Achse für die Autokorrelationswerte. Signifikante Spitzen oder Muster im ACF-Diagramm können die zugrunde liegende zeitliche Struktur der Daten aufdecken. Die Auswahl der Verzögerungsreihenfolge (p) im AR-Modell beruht oft auf der Analyse des ACF-Diagramms. In einem AR(p)-Modell wird der aktuelle Wert der Zeitreihe als lineare Kombination ihrer vergangenen p Werte ausgedrückt, wobei die Koeffizienten durch OLS oder MLE bestimmt werden. Autokorrelation wird auch verwendet, um zu beurteilen, ob eine Zeitreihe stationär ist. Bei einer stationären Zeitreihe sollte die Autokorrelation mit zunehmender Verzögerung allmählich abnehmen, aber wenn das ACF-Diagramm keinen Rückgang anzeigt, könnten die Daten Nichtstationarität enthalten. Mehr über Autokorrelation erfahren Sie hier.

Es gibt viele verschiedene Varianten des Standard-Autoregressive-Zeitreihenmodells, die sich mit seinen Herausforderungen und Mängeln befassen.

Ein einfaches autoregressives statistisches Modell arbeitet mit univariaten Datensätzen, d. h. ein Datensatz muss einen Wert für jeden Zeitraum enthalten. Vektorautoregressive Modelle (VAR) wurden entwickelt, um Autoregressionen multivariater Zeitreihen zu ermöglichen. Sie sind so strukturiert, dass jede Variable eine lineare Funktion vergangener Verzögerungen ihrer selbst und vergangener Verzögerungen der anderen Variablen ist. Stellen Sie sich vor, Sie haben eine Zeitreihe, die aus zwei verschiedenen Messungen besteht, der monatlichen Anzahl von Flügen und der monatlichen Anzahl von Intercity-Zugfahrten. In einem VAR-Modell könnten Sie den Wert der Verwendung beider Werte mit einer Regression für jeden einzelnen Wert vorhersagen, die den jeweils anderen Wert einschließt. Wenn wir Bahnreisen als X_r und Flugzeugreisen als X_a kodieren, hätten wir:

 $x_{t,r}={\alpha }_r+{\varphi }_{11}{x}_{t-1,a}+{\varphi }_{12}{x}_{t-1,r}+{ϵ}_{t,r}$ 

 $x_{t,a}={\alpha }_a+{\varphi }_{11}{x}_{t-1,a}+{\varphi }_{12}{x}_{t-1,r}+{ϵ}_{t,a}$ 

Einfache autoregressive Modelle können bei Zeitreihen mit starkem Trend Schwierigkeiten bereiten. Zwei beliebte Varianten des autoregressiven Modells sind die Modelle des autoregressiven gleitenden Durchschnitts (ARMA) und des autoregressiven integrierten gleitenden Durchschnitts (ARIMA). Diese Variationen sind besonders nützlich, wenn die Daten einen starken Trend aufweisen. Die Modellierung des gleitenden Durchschnitts ist ein weiterer Ansatz zur Prognose von Zeitreihendaten und ARIMA integriert diese beiden Ansätze, daher der Name. Es gibt auch Variationen bei ARIMA-Modellen. Eine der häufigsten Erweiterungen ist der Vektor-ARIMA (VARIMA), der verwendet wird, wenn die Daten multivariat sind. Eine weitere gängige Erweiterung ist die saisonale ARIMA (SARIMA), wenn die Daten eine starke Saisonalität aufweisen. Mehr über ARIMA-Modelle erfahren Sie hier.

Autoregressive Modelle funktionieren viel zuverlässiger, wenn die Zeitreihendaten stationär sind und die Varianz über die Zeitreihen hinweg nicht variiert. Oftmals werden die nicht-stationären Daten zeitlich differenziert, um Veränderungen der Varianz zu entfernen und dann ein AR-Modell anzupassen. Manchmal ist diese Abweichung aussagekräftig und ein Data Scientist möchte sie beibehalten. Die autoregressive bedingte Heteroskedastizitätsmethode (Autoregressive Conditional Heteroscedasticity Method, ARCH) bietet eine Möglichkeit, eine Veränderung der Varianz in einer zeitabhängigen Zeitreihe zu modellieren, wie z. B. eine zunehmende oder abnehmende Volatilität. Eine Erweiterung dieses Ansatzes, bekannt als verallgemeinerte autoregressive bedingte Heteroskedastizität (GARCH), ermöglicht es der Methode, Veränderungen in der zeitabhängigen Volatilität zu unterstützen. Zum Beispiel zunehmende und abnehmende Volatilität in ein und derselben Serie.

Wenn es einen nichtstochastischen Prozess für Änderungen der Varianzen von Zeitreihen gibt, kann der Algorithmus für autoregressive bedingte Heteroskedastizität oder ARCH autoregressive Techniken verwenden, um Änderungen der Volatilität von Datensätzen zu modellieren und vorherzusagen. Reguläre autoregressive Modelle bilden keine Veränderung der Varianz in einem Datensatz ab. Aus diesem Grund könnte ein Data Scientist eine Box-Cox-Transformation verwenden, um die Varianz im Datensatz zu reduzieren. Wenn die Abweichungsänderung jedoch autokorreliert ist, kann ein ARCH-Modellierungsansatz Vorhersagen darüber liefern, wann ein Prozess möglicherweise beginnt, sich zu ändern. Dieser Ansatz ist als Volatilitätsprognose bekannt und wird häufig in der Ökonometrie und Finanzanalyse verwendet. Bei der Arbeit mit Aktienkursdaten beispielsweise könnte das Interesse über die Modellierung potenzieller Preise hinausgehen und sich auf die Vorhersage erstrecken, wann sich diese dramatisch ändern.

Obwohl autoregressive Modelle häufig mit Zeitreihendaten in Verbindung gebracht werden, sind auch andere Modellierungsanwendungen mit unterschiedlichen Datentypen möglich.

Autoregressive Modellierungstechniken generieren die Wahrscheinlichkeit von Zeichenfolgen, um beispielsweise einen wahrscheinlichen nächsten Buchstaben oder ein Wort in der Textvorhersage vorzuschlagen. Autoregressive Sprachmodelle berechnen die Wahrscheinlichkeit jedes möglichen Tokens unter Berücksichtigung der vorherigen Token in der Zeichenkette. Bei der Wortkette „the mouse ate the“ würde ein Modell, das eine angemessene Anzahl englischer Sätze analysiert hat, wahrscheinlich „cheese“ eine höhere Wahrscheinlichkeit zuweisen als „homework“. Diese Wahrscheinlichkeit wird durch einen autoregressiven Prozess zugewiesen, der alle vorherigen Token in der Kette verwendet, um jedem Token im Sprachmodell Wahrscheinlichkeiten zuzuweisen.

Eine andere Anwendung autoregressiver Prinzipien besteht darin, die Standorte von Werten als Sequenz zu verwenden und alle relevanten Standorte auf den interessierenden Standort zurückzuführen. Zum Beispiel könnten wir vermuten, dass die Entfernung zu einer Fabrik die Luftqualitätswerte beeinflusst. Ein autoregressives Modell würde die Messwerte anderer Standorte als verzögerte Werte und die Entfernung von der Fabrik als Verzögerungen verwenden.