Qu’est-ce qu’un modèle autorégressif ?

Il s'agit d'une technique simple, mais puissante d'analyse des séries temporelles qui fournit des prédictions hautement interprétables et efficaces si vos données contiennent des corrélations entre les pas de temps. La corrélation entre les pas de temps est appelée autocorrélation car elle mesure le degré de corrélation d'une valeur avec elle-même. Un processus purement linéaire s'autocorrélera parfaitement avec lui-même tout au long de la série temporelle, ce qui permet de prédire la valeur suivante exactement à partir des valeurs précédentes à l'aide d'un processus autorégressif. Un processus totalement stochastique tel qu'un bruit blanc n'aura pas d'autocorrélation puisque nous ne pouvons pas prédire les valeurs actuelles ou futures en utilisant les valeurs passées.

Une série temporelle est une séquence de mesures de la même variable ou du même groupe de variables réalisées au fil du temps. Les mesures sont généralement effectuées à des intervalles réguliers, par exemple toutes les heures, tous les mois ou tous les ans. À titre d’exemple, nous pourrions avoir des valeurs qui mesurent le nombre de passagers aériens dans un pays, avec des mesures observées chaque mois. Dans ce cas, y représente le nombre de passagers mesuré et souligne l’existence de valeurs mesurées au fil du temps. La valeur t est appliquée en tant qu’indice plutôt que le i habituel pour indiquer que y_t représente la valeur de y à tout moment.

Un modèle autorégressif consiste à faire régresser une valeur d'une série chronologique par rapport aux valeurs précédentes de cette même série chronologique. Par exemple, y_t régressé sur y_t-1 utilise la valeur précédente de y, appelée valeur décalée, pour prédire la valeur actuelle de y. Dans ce modèle de regression simple, la variable dépendante de la période précédente est devenue le prédicteur. Les erreurs représentent toutes les hypothèses habituelles concernant les erreurs dans un modèle de régression linéaire simple. Nous considérons souvent l'ordre d'une autorégression comme le nombre de valeurs précédentes de la série utilisée pour prédire la valeur actuelle. Donc, y_t régressé sur y_t-1 est une autorégression du premier ordre, qui s'écrit AR(1).

Dans une régression multiple, la sortie de la régression est une combinaison linéaire de plusieurs variables d'entrée. Dans les modèles autorégressifs, la sortie est le point de données futur exprimé comme une combinaison linéaire des points de données p passés. p est le nombre de décalages inclus dans l’équation. Un modèle AR(1) est défini mathématiquement comme suit :

 $x_t=\delta +{\varphi }_1{x}_{t-1}+{\alpha }_t$

x_t-1 est la valeur passée de la série à partir d’un décalage en arrière

ϕest le coefficient calculé pour ce décalage

Alpha_t est un bruit blanc (par exemple, l’aléatoire)

Le delta est défini comme étant

 $\delta =(1-\sum _p^{i=1}{\varphi }_i)\mu$

pour un modèle autorégressif d'ordre p, où p est le nombre total de covariables calculés pour les retards et µ est la moyenne du processus.

Lorsque des décalages supplémentaires sont ajoutés au modèle, nous ajoutons davantage de coefficients et de variables de décalage à l’équation :

 $x_t=\delta +{\varphi }_1{x}_{t-1}+{\varphi }_2{x}_{t-2}+{\alpha }_t$

Le modèle précédent est une auto-régression du second ordre, car il contient deux décalages.

La forme générale d'une équation autorégressive pour un ordre p est

 $x_t=\delta +{\varphi }_1{x}_{t-1}...{\varphi }_p{x}_{t-p}+{\alpha }_t$

Pour employer les modèles autorégressifs à des fins de forecasting, nous utilisons la valeur temporelle actuelle et toutes les données historiques pour prédire le prochain intervalle temporel. Par exemple, un modèle AR avec 2 décalages peut prédire un seul intervalle temporel comme suit :

 $x_{t+1}=\delta +{\varphi }_1{x}_t+{\varphi }_2{x}_{t-1}+{\alpha }_{t+1}$

Les approches les plus courantes pour calculer les coefficients de chaque décalage sont soit l’estimation du maximum de vraisemblance (MLE), soit l’estimation utilisant les moindres carrés (MCO). Les mêmes limitations que ces approches présentent lors de l’ajustement d’une régression d’un modèle linéaire sont également présentes lors de l’ajustement de modèles autorégressifs. Selon que vous utilisez Python ou R et la bibliothèque, vous pourrez peut-être utiliser les méthodes Yule-Walker ou Burg en plus de MLE ou MCO.

De nombreuses bibliothèques permettent aux utilisateurs de choisir les critères à utiliser pour sélectionner les modèles parmi tous les modèles candidats. Par exemple, vous pourriez utiliser les coefficients du modèle pour minimiser le critère d'information d'Akaike ou les critères d'information bayésiens en fonction de votre cas d'utilisation et de vos données.

L'autocorrélation calcule la corrélation entre une série chronologique et une version décalée d'elle-même. Le décalage est le nombre d'unités de temps nécessaires pour modifier la série chronologique. Un décalage de 1 par rapport à la série par rapport au pas de temps précédent. Un décalage de 2 est comparé au pas de temps qui l'a précédé. Le degré d'autocorrélation à un certain décalage montre la dépendance temporelle des données. Lorsque l'autocorrélation est élevée, il existe un lien étroit entre la valeur actuelle et la valeur à ce décalage. Lorsque l'autocorrélation est faible ou proche de zéro, cela indique une relation faible ou aucune relation.

Une approche courante pour visualiser l’autocorrélation consiste à calculer la fonction d’autocorrélation (ACF) ou le tracé ACF qui affiche les coefficients d’autocorrélation avec différents décalages.

L’axe horizontal représente le décalage et l’axe vertical représente les valeurs d’autocorrélation. Des pics ou des modèles significatifs dans le graphique ACF peuvent révéler la structure temporelle sous-jacente des données. La sélection de l’ordre de décalage (p) dans le modèle AR repose souvent sur l’analyse du tracé ACF. Dans un modèle AR(p), la valeur actuelle de la série chronologique est exprimée sous la forme d’une combinaison linéaire de ses valeurs p passées, avec des coefficients déterminés par les MCO ou les MLE. L’autocorrélation est également utilisée pour évaluer si une série chronologique est stationnaire. Pour une série chronologique stationnaire, l’autocorrélation doit diminuer progressivement à mesure que le décalage augmente, mais si le graphique ACF n’indique pas une diminution, les données peuvent contenir de la non-stationnarité. Vous pouvez en savoir plus sur l’autocorrélation ici.

Il existe de nombreuses variantes du modèle de séries chronologiques autorégressives standard qui répondent à ses défis et à ses lacunes.

Un modèle statistique autorégressif simple fonctionne avec des jeux de données univariés, ce qui signifie qu’un jeu de données doit contenir une valeur pour chaque période. Les modèles autorégressifs vectoriels (VAR) ont été développés pour permettre l’auto-régression de séries temporelles multivariées. Ils sont structurés de manière à ce que chaque variable soit une fonction linéaire de ses propres retards passés et des retards passés des autres variables. Imaginez que vous ayez une série temporelle composée de deux mesures différentes, le nombre mensuel de vols d’avion et le nombre mensuel de trajets ferroviaires interurbains. Dans un modèle VAR, vous pouvez prévoir la valeur de l'utilisation des deux avec une regression pour chacune qui inclut l'autre valeur. Encodage des déplacements ferroviaires sous la forme de X_r et des voyages en avion sous la forme de X_a Nous aurions :

 $x_{t,r}={\alpha }_r+{\varphi }_{11}{x}_{t-1,a}+{\varphi }_{12}{x}_{t-1,r}+{ϵ}_{t,r}$ 

 $x_{t,a}={\alpha }_a+{\varphi }_{11}{x}_{t-1,a}+{\varphi }_{12}{x}_{t-1,r}+{ϵ}_{t,a}$ 

Les modèles autorégressifs simples peuvent rencontrer des difficultés avec les séries temporelles à tendance forte. Deux variantes populaires du modèle autorégressif sont les modèles à moyenne mobile autorégressive (ARMA) et les modèles à moyenne mobile intégrée autorégressive (ARIMA). Ces variantes sont particulièrement utiles lorsque les données ont une tendance forte. La modélisation de la moyenne mobile est une autre approche de la forecasting des données de séries temporelles et ARIMA intègre ces deux approches, d’où son nom. Il existe également des variantes des modèles ARIMA. L’une des extensions les plus courantes est le vecteur ARIMA (VARIMA), utilisé lorsque les données sont multivariées. Une autre extension courante est l'ARIMA saisonnière (SARIMA) lorsque les données contiennent une forte saisonnalité. Vous pouvez en savoir plus sur les modèles ARIMA ici.

Les modèles autorégressifs s’avèrent beaucoup plus fiables lorsque les données de la série chronologique sont stationnaires et que la variance de cette dernière est constante. Souvent, les données non stationnaires sont espacées dans le temps pour supprimer les changements de variance et s’ajuster au modèle autorégressif. Parfois, cette variation est significative et les data scientists préfèrent la conserver. La méthode d’hétéroscédasticité conditionnelle autorégressive (ARCH) permet de modéliser un changement de variance dans une série chronologique qui dépend du temps, comme l’augmentation ou la diminution de la volatilité. L’hétéroscédasticité conditionnelle autorégressive généralisée (GARCH) est une version de cette approche qui permet de prendre en charge les changements de volatilité en fonction du temps. Il s’agit, par exemple, d’augmenter et de réduire la volatilité au sein d’une même série.

Lorsqu’il existe un processus non stochastique pour modifier les variances des séries temporelles, l’hétérogénéité conditionnelle autorégressive ou l’algorithme ARCH peut utiliser des techniques autorégressives pour modéliser et prédire les changements dans la volatilité des jeux de données. Les modèles autorégressifs classiques ne modélisent pas de changement dans la variance au sein d’un jeu de données. C’est pourquoi un data scientist peut utiliser une transformation box-cox pour réduire la variance de l'ensemble de données. Cependant, si le changement de variance est auto-corrélé, une approche ARCH de modélisation peut fournir des prévisions sur le moment où un processus pourrait commencer à changer. Cette approche est connue sous le nom de prévision de la volatilité et est couramment utilisée dans les analyses économétriques et financières. Par exemple, lorsque vous travaillez avec des données relatives au cours des actions, l'intérêt peut aller au-delà de la modélisation des cours potentiels et au forecasting lorsqu'elles commencent à changer radicalement.

Si les modèles autorégressifs sont généralement associés aux données de séries chronologiques, d’autres applications de modélisation sont possibles avec différents types de données.

Les techniques de modélisation autorégressive génèrent la probabilité de séquences de jetons, par exemple pour suggérer une lettre ou un mot probable dans un texte prédictif. Les modèles de langage autorégressifs calculent la probabilité de chaque jeton possible étant donné les jetons précédents dans la chaîne. Étant donné la chaîne « la souris a mangé le », un modèle qui a vu un nombre raisonnable de phrases en anglais attribuerait probablement une probabilité plus élevée à « fromage » qu'à « devoirs ». Cette probabilité est attribuée via un processus autorégressif qui utilise tous les jetons précédents de la chaîne pour attribuer des probabilités à chaque jeton dans le modèle de langage.

Une autre application des principes autorégressifs consiste à utiliser la position des valeurs sous forme de séquence et à faire régresser chaque position pertinente sur la position d’intérêt. À titre d’exemple, on peut estimer que la distance par rapport à une usine affecte les relevés de qualité de l’air. Un modèle autorégressif utiliserait les relevés d’autres sites comme valeurs décalées et la distance par rapport à l’usine comme décalage.