Qu'est-ce que l'apprentissage par renforcement ?

Le terme « agent autonome » désigne tout système capable de prendre des décisions et de réagir à son environnement sans instructions directes de la part de l’humain. Les robots et les voitures autonomes sont des exemples d’agents autonomes.

Avec l’apprentissage par renforcement, les agents autonomes apprennent à effectuer des tâches selon la méthode essai-erreur, sans être guidés par l’humain.¹ L’apprentissage par renforcement s’attaque notamment aux problèmes de prise de décision séquentielle dans un environnement incertain, et promet d’accélérer le développement de l’intelligence artificielle.

La littérature spécialisée oppose souvent l’apprentissage par renforcement à l’apprentissage supervisé et non supervisé. L’apprentissage supervisé s’appuie sur des données étiquetées manuellement pour faire des prédictions ou des classifications. L’apprentissage non supervisé vise à découvrir et à apprendre les schémas cachés dans les données non étiquetées. Contrairement à l’apprentissage supervisé, l’apprentissage par renforcement n’utilise pas d’exemples étiquetés de comportements corrects ou incorrects. Autre différence, l’apprentissage par renforcement s’appuie sur la méthode essai-erreur et sur la fonction de récompense, au lieu d’extraire des informations à partir des schémas cachés.²

Avec les méthodes d’apprentissage supervisé et non supervisé, on part du principe que chaque enregistrement de données d’entrée est indépendant des autres au sein du jeu de données, mais que chaque enregistrement actualise un modèle de distribution des données sous-jacent commun. Les modèles apprennent à prédire, et leur performance est mesurée selon la maximisation de la précision des prédictions.

Avec l’apprentissage par renforcement, en revanche, l’agent apprend à agir. Les données d’entrée sont considérées comme étant des tuples interdépendants, c’est-à-dire des séquences ordonnées de données, organisées en état-action-récompense. De nombreuses applications d’algorithmes d’apprentissage par renforcement visent à imiter les méthodes d’apprentissage du monde réel grâce au renforcement positif.

Notez que, si les deux sont rarement comparés dans la littérature spécialisée, l’apprentissage par renforcement est également distinct de l’apprentissage auto-supervisé. Ce dernier est une forme d’apprentissage non supervisé qui utilise des pseudo-étiquettes produites à partir de données d’entraînement non étiquetées comme « vérité terrain » pour mesurer la précision du modèle. L’apprentissage par renforcement, quant à lui, ne produit pas de pseudo-étiquettes. Il ne s’appuie pas non plus sur la vérité terrain, puisqu’il ne s’agit pas d’une méthode de classification, mais d’un apprentissage par l’action. Associés, les deux donnent toutefois des résultats prometteurs.³

L’apprentissage par renforcement repose essentiellement sur la relation entre un agent, un environnement et un objectif. La littérature spécialisée désigne cette relation comme processus de décision markovien (MDP).

Avec l’apprentissage par renforcement, l’agent apprend à résoudre les problèmes en interagissant avec son environnement. Ce dernier fournit des informations sur son état actuel. L’agent utilise ensuite ces informations pour déterminer la ou les mesures à prendre. Si cette mesure obtient un signal de récompense de la part de son environnement, l’agent est encouragé à la reproduire lorsqu’il se retrouve dans un état similaire. Ce processus se répète pour chaque nouvel état. Au fil du temps, les récompenses et les pénalités permettent à l’agent d’apprendre à agir dans cet environnement de manière à atteindre l’objectif spécifié.⁴

Dans le processus de décision markovien, l’espace d’états désigne l’ensemble des informations fournies par l’état d’un environnement. L’espace des actions désigne l’ensemble des actions que l’agent peut effectuer au sein d’un état.⁵

Ne disposant pas de données d’entrée étiquetées manuellement pour guider son comportement, l’agent d’apprentissage par renforcement doit explorer son environnement et tenter de nouvelles actions pour découvrir celles qui entraînent une récompense. Ces signaux de récompense permettent à l’agent d’apprendre à privilégier les actions ayant été récompensées, afin de maximiser son gain. Mais il doit également continuer à explorer de nouveaux états et actions. Il peut ainsi se servir de cette expérience par la suite pour améliorer sa prise de décision.

Les algorithmes RL exigent donc que l’agent exploite la connaissance des actions-états précédemment récompensées et en explore d’autres. L’agent ne peut pas se consacrer exclusivement à l’exploration ni à l’exploitation. Il doit tenter en permanence de nouvelles actions, tout en privilégiant celles qui entraînent la plus grande récompense cumulée.⁶

Au-delà du triptyque agent-environnement-objectif, quatre sous-éléments principaux caractérisent les problèmes d’apprentissage par renforcement.

- Politique. Le comportement de l’agent RL est défini en établissant une correspondance entre les états perçus de l’environnement et les actions que l’agent doit entreprendre lorsqu’il se trouve dans ces états. Il peut s’agir d’une fonction rudimentaire ou d’un processus informatique plus complexe. Par exemple, la politique guidant un véhicule autonome peut associer la détection des piétons à l’action d’arrêt.

- Signal de récompense. Il s’agit de l’objectif du problème RL. Chaque action de l’agent RL reçoit ou non une récompense de la part de son environnement. Le seul objectif de l’agent est de maximiser ses récompenses cumulées dans cet environnement. Pour les véhicules autonomes, le signal de récompense peut prendre diverses formes : réduire le temps de trajet ou le nombre de collisions, rester sur la route et sur la bonne voie, éviter les accélérations et décélérations extrêmes, etc. Cet exemple montre que le RL peut intégrer plusieurs signaux de récompense pour guider un agent.

- Fonction de valeur. Contrairement au signal de récompense, qui représente un avantage immédiat, la fonction de valeur est un avantage à long terme. La valeur désigne l’attrait d’un état par rapport à tous ceux qui sont susceptibles de suivre (avec les récompenses associées). Pour réduire le temps de trajet, un véhicule autonome peut quitter sa voie, rouler sur le trottoir et accélérer brusquement, mais ces trois actions peuvent réduire sa fonction de valeur globale. Ainsi, en tant qu’agent RL, le véhicule optera pour un temps de trajet légèrement plus long pour augmenter sa récompense dans ces trois domaines.

– Modèle. Il s’agit d’un élément facultatif des systèmes d’apprentissage par renforcement. Les modèles permettent aux agents de prédire le comportement de l’environnement selon les actions possibles. Les agents s’appuient ensuite sur les prédictions du modèle pour déterminer les actions possibles en fonction des résultats potentiels. Il peut s’agir du modèle qui guide le véhicule autonome et qui l’aide à prédire les meilleurs itinéraires, à savoir ce que l’on peut attendre des véhicules environnants, compte tenu de leur position et de leur vitesse, etc.⁷ Certaines approches axées sur les modèles utilisent une rétroaction humaine directe lors de l’apprentissage initial, avant de passer à l’apprentissage autonome.

Les agents collectent généralement leurs données d’apprentissage selon l’une de ces deux méthodes :

- En ligne. Ici, l’agent recueille les données en interagissant avec son environnement. Ces données sont traitées et collectées de manière itérative, au fur et à mesure que l’agent interagit avec cet environnement.

– Hors ligne. Lorsque l’agent n’a pas d’accès direct à l’environnement, il apprend grâce aux données enregistrées au sujet de cet environnement. On parle alors d’apprentissage hors ligne. Bon nombre de travaux de recherche se tournent vers l’apprentissage hors ligne en raison des difficultés pratiques liées à l’entraînement des modèles par interaction directe avec l’environnement.⁸

L’apprentissage par renforcement fait l’objet d’une recherche dynamique et continue. En effet, les développeurs proposent diverses approches en la matière. Les trois principales approches, largement abordées, sont la programmation dynamique, les méthodes de Monte-Carlo et la méthode des différences temporelles.

La programmation dynamique consiste à décomposer les tâches en tâches plus petites. Les problèmes sont ainsi modélisés sous forme de workflows de décisions séquentielles prises à des intervalles de temps discrets. Chaque décision est prise en fonction de l’état suivant susceptible d’en découler. La récompense de l’agent (r) pour une action donnée est définie en fonction de cette action (a), de l’état actuel de l’environnement (s) et du prochain état possible (s’) :

Cette fonction de récompense peut être utilisée pour encadrer les actions de l’agent. Déterminer la politique optimale régissant le comportement des agents est l’un des principaux aspects des méthodes de programmation dynamique dans l’apprentissage par renforcement. C’est là que l’équation de Bellman entre en jeu.

L’équation de Bellman est la suivante :

En bref, cette équation définit v_t(s) comme la récompense totale attendue à partir de l’instant t et jusqu’à la fin du workflow décisionnel. On part du principe que l’agent commence par occuper l’état s à l’instant t. L’équation divise la récompense à l’instant t en récompense immédiate r_t(s,a) (c’est-à-dire la formule de la récompense) et récompense totale attendue par l’agent. Pour maximiser sa fonction de valeur, à savoir la valeur totale de l’équation de Bellman, l’agent choisit systématiquement l’action qui reçoit un signal de récompense dans chaque état.⁹

La programmation dynamique repose sur un modèle qu’elle construit à partir de son environnement pour percevoir les récompenses, identifier les schémas et évoluer dans l’environnement. Les méthodes de Monte-Carlo, quant à elles, impliquent un environnement de type boîte noire, ce qui signifie qu’il n’y a pas de modèle.

Alors que la programmation dynamique prédit les états futurs potentiels et les signaux de récompense dans la prise de décision, les méthodes de Monte-Carlo sont exclusivement fondées sur l’expérience, puisqu’elles consistent à échantillonner séquences d’états, actions et récompenses uniquement par le biais de l'interaction avec l’environnement. L’apprentissage se fait donc selon la méthode essai-erreur, et non par le biais de distributions probabilistes.

Autre différence entre les méthodes Monte-Carlo et la programmation dynamique : la manière de déterminer la fonction de valeur. La programmation dynamique consiste à rechercher la plus grande récompense cumulée en sélectionnant systématiquement les actions récompensées dans les états successifs. Avec Monte-Carlo, en revanche, on fait la moyenne des retours pour chaque paire état-action. On doit donc attendre que toutes les actions d’un épisode donné (ou horizon de planification) soient effectuées pour calculer la fonction de valeur, puis mettre à jour sa politique.¹⁰

Selon la littérature spécialisée, les méthodes de différences temporelles (TD) associent programmation dynamique et méthodes Monte-Carlo. Comme avec la programmation dynamique, les méthodes TD consistent à mettre à jour sa politique, et donc l’estimation des états futurs, après chaque étape, sans attendre une valeur finale. Comme dans le cas de Monte-Carlo, l’apprentissage TD se fait par interaction brute avec l’environnement, et non par le biais d’un modèle de ce dernier.¹¹

Comme son nom l’indique, la méthode TD consiste pour l’agent à réviser sa politique selon la différence entre les récompenses prévues et les récompenses reçues dans chaque état. Alors que la programmation dynamique et Monte-Carlo ne tiennent compte que de la récompense reçue, les méthodes TD consistent donc à évaluer la différence entre les attentes et la récompense reçue. L’agent s’appuie sur cette différence pour mettre à jour ses estimations pour l’étape suivante sans attendre l’horizon de planification des événements, contrairement à Monte-Carlo.¹²

Les méthodes TD comportent de nombreuses variantes. Parmi les plus importantes, citons les méthodes SARSA (état-action-récompense-état-action) et Q-learning. SARSA est une méthode de TD « on-policy », ce qui signifie qu’elle évalue et tente d’améliorer sa politique de décision. Q-learning est une méthode « off-policy », qui associe donc deux politiques : une pour l’exploitation (politique cible) et une pour l’exploration afin de générer un comportement (politique de comportement).¹³

Il existe de nombreuses autres méthodes d’apprentissage par renforcement. La programmation dynamique est une méthode axée sur la valeur : elle sélectionne les actions en fonction de leurs valeurs estimées, conformément à une politique qui vise à maximiser sa fonction de valeur. Les méthodes du gradient de la politique, quant à elles, consistent à apprendre une politique paramétrée permettant de sélectionner des actions sans consulter une fonction de valeur. Axées sur les politiques, ces méthodes sont considérées comme plus efficaces dans les environnements à haute dimension.¹⁴

Les méthodes acteur-critique s’appuient à la fois sur les valeurs et sur les politiques. Ce que l’on appelle « acteur » est un gradient de politique déterminant les actions à entreprendre, tandis que le « critique » est une fonction de valeur permettant d’évaluer les actions. Les méthodes acteur-critique sont une forme de TD. Plus précisément, ces méthodes consistent à évaluer la valeur d’une action donnée en fonction non seulement de sa propre récompense, mais aussi de la valeur possible de l’état suivant, que l’on ajoute à la récompense de l’action. Parce qu’elles mettent en œuvre une fonction de valeur et une politique dans la prise de décision, les méthodes acteur-critique présentent l’avantage de nécessiter moins d’interaction avec l’environnement.¹⁵