Qu’est-ce qu’un agent réflexe basé sur un modèle ?

Les agents réflexes fondés sur un modèle sont conçus pour fonctionner dans des environnements dynamiques ou partiellement observables. Le modèle de référence interne de l’agent est actualisé en fonction des actions de celui-ci, ce qui lui permet de déduire d’autres aspects de son environnement. L’agent consulte ensuite son état interne afin de déterminer ses actions futures.

Les agents réflexes fondés sur un modèle se distinguent des agents réflexes simples par le fait que, même si ces deux types d’agents d’IA peuvent utiliser la perception pour réagir en temps réel à l’évolution de leur environnement, les premiers conservent une mémoire persistante de cet environnement. Les agents réflexes simples constituent une forme moins complexe d’IA agentique, qui prend des décisions en se fondant exclusivement sur l’état actuel de l’environnement. 

Comme ils ne disposent que de leur perception actuelle, leurs capacités à prendre des décisions éclairées sont limitées : ils ne peuvent ni se souvenir d’informations antérieures ni anticiper l’évolution de leur environnement sous l’effet de leurs propres actions ou de facteurs externes. 

Contrairement aux agents réflexes simples, les agents réflexes fondés sur un modèle conservent un état interne symbolique qui enregistre leurs perceptions antérieures et les informations déduites au sujet de l’environnement. Le modèle interne leur permet de gérer plus efficacement les environnements partiellement observables ou dynamiques. Ces agents peuvent prédire de quelle manière leurs actions sont susceptibles de modifier leur environnement, ce qui leur permet d’adapter leur processus décisionnel.

Les agents réflexes fondés sur un modèle se composent de quatre éléments principaux :

• Capteurs
   

• Modèle interne
   

• Composant de raisonnement
   

• Actionneurs

Les capteurs permettent à l’agent de percevoir les stimuli et les informations provenant de son environnement. Les entrées sensorielles peuvent comprendre des informations physiques directes, telles qu’un flux vidéo ou une mesure de température, ainsi que des données virtuelles, comme des connexions à des API ou des flux simulés. Sans capteurs, l’agent ne serait pas en mesure de recueillir des données sur son environnement et d’en tirer des enseignements.

Le modèle interne représente la compréhension actuelle que l’agent possède de son environnement. Il comprend notamment ses expériences passées, les états non observables qu’il a déduits et ses prédictions concernant la manière dont les actions possibles pourraient modifier cet environnement.

Un composant de raisonnement prend des décisions en fonction des données du modèle interne. Le raisonnement de l’agent repose souvent sur des règles, par exemple une règle condition-action qui utilise des règles prédéfinies pour indiquer à l’agent comment agir.  

Une règle condition-action établit une série d’instructions « si-alors » qui indiquent à un agent la marche à suivre dans une situation donnée. Dans le cas d’une voiture autonome, par exemple, une règle condition-action peut demander à l’agent de freiner lorsqu’un obstacle est détecté devant le véhicule. Si l’agent contrôle une maison intelligente, il peut également activer la climatisation lorsque le thermostat relève une température donnée. 

D’autres composants de raisonnement utilisent un modèle état-action, qui décrit les différents états possibles d’un système ainsi que les actions ou les événements susceptibles de le faire passer d’un état à un autre. Dans le domaine de la santé, les modèles état-action peuvent prédire de quelle manière l’état d’un patient pourrait s’améliorer ou se détériorer en fonction des traitements envisagés.

Les actionneurs, également appelés éléments de performance, sont les moyens par lesquels l’agent agit sur son environnement. Les actions peuvent être physiques ou virtuelles, comme des sorties logicielles ou des appels d’API. Dans le domaine de la robotique, l’actionneur est le robot physique contrôlé par l’agent. Dans une maison intelligente, le système de régulation climatique constitue un exemple d’actionneur. Pour un assistant virtuel, les actionneurs peuvent être des connexions API donnant accès à des outils pertinents, tels qu’un calendrier.

La plupart des agents réflexes fondés sur un modèle fonctionnent selon une boucle comportementale en quatre étapes :

1. Perception
    

2. Modélisation interne
    

3. Prise de décision
    

4. Action

Après chaque action, le modèle relance la boucle : il réévalue son environnement, actualise son modèle et effectue un nouveau choix. Ces boucles sont explicitement dépourvues de mécanisme d’apprentissage : le modèle interne de l’agent est actualisé, mais pas ses règles.

L’agent utilise ses capteurs pour percevoir son environnement et recueillir des données observables. Par exemple, un agent qui gère une flotte de robots de livraison peut utiliser leurs caméras pour détecter les piétons et la circulation routière.

À partir des données environnementales qu’il perçoit, l’agent crée ou actualise le modèle interne de son environnement réel. Le modèle utilise les données observables afin de déduire l’état des aspects non observables de l’environnement. Les modèles internes proposent également différentes actions que l’agent peut entreprendre et prédisent les effets que ces actions pourraient avoir sur son environnement.

L’agent utilise les informations de son modèle interne ainsi que la logique de son composant de raisonnement pour choisir une action. Si un robot de livraison détecte un signal autorisant les piétons à traverser et l’absence de circulation en approche, il peut décider de traverser la rue.

Lors de la phase d’action, l’agent utilise ses actionneurs pour exécuter la décision prise pendant la phase de prise de décision. Notre robot de livraison activerait son moteur afin d’alimenter ses roues et de traverser tranquillement la rue pour poursuivre sa route.

Les agents réflexes fondés sur un modèle sont efficaces dans les environnements nécessitant une perception continue et une prise de décision en temps réel, notamment la robotique, les véhicules autonomes et l’IA des jeux en temps réel. 

Dans les domaines de la robotique et des véhicules autonomes, ils évoluent dans des environnements dynamiques afin de limiter les dommages et de guider le robot ou le véhicule jusqu’à sa destination. Les agents de jeu peuvent prédire les actions des utilisateurs et réagir de manière à leur proposer le niveau de difficulté souhaité par le concepteur du jeu. 

Dans les cas d’utilisation impliquant l’automatisation à grande échelle des activités d’une entreprise, les agents réflexes fondés sur un modèle optimisent l’efficacité en ajustant la production et les stocks en fonction de l’évolution des conditions.

Les agents réflexes ne sont pas les seuls types d’agents existants. Il existe également les catégories suivantes :

• Agents fondés sur des objectifs
   

• Agents fondés sur l’utilité
   

• Agents d’apprentissage
   

• Agents hiérarchiques

Les agents fondés sur des objectifs cherchent à atteindre un objectif précis. Alors que les agents réflexes réagissent généralement à l’aide d’un ensemble de conditions « si-alors », les agents fondés sur des objectifs utilisent des techniques de résolution de problèmes afin de déterminer comment atteindre des objectifs particuliers. Le plan se compose d’une série d’actions et de tâches spécifiques susceptibles de conduire à la réalisation de l’objectif. 

Les agents fondés sur des objectifs utilisent des algorithmes de machine learning dédiés à la recherche et à la planification, comme A* ou le Stanford Research Institute Problem Solver (STRIPS), afin de générer une séquence d’actions visant à atteindre l’objectif.

Les agents fondés sur l’utilité ressemblent aux agents fondés sur des objectifs, mais mettent davantage l’accent sur l’efficacité. Une fonction d’utilité analyse les états futurs possibles afin de déterminer l’efficacité maximale et attribue une valeur numérique aux résultats pour atténuer l’incertitude. La stratégie optimale est celle qui maximise l’utilité attendue des choix de l’agent. Les agents fondés sur l’utilité cherchent à obtenir les meilleurs résultats à long terme.

Les agents d’apprentissage comprennent un élément d’apprentissage qui optimise leur comportement et leurs processus décisionnels en fonction des résultats de leurs choix antérieurs. Un composant de génération de problèmes propose de nouvelles stratégies exploratoires, ce qui aide l’agent à découvrir des comportements plus efficaces au lieu de répéter les anciens. Ces agents intelligents s’améliorent au fil du temps. 

Ils utilisent des méthodes telles que l’apprentissage supervisé, l’apprentissage non supervisé et l’apprentissage par renforcement afin d’affiner leur comportement. 

Par exemple, un agent d’apprentissage chargé de créer un système de tarification dynamique analysera les réactions des consommateurs et la demande afin d’ajuster les prix futurs. Les agents d’apprentissage peuvent s’adapter aux préférences d’un utilisateur donné en utilisant le traitement du langage naturel (NLP) et une interface de chatbot pour traiter les entrées et les commentaires.

Les agents hiérarchiques sont utilisés dans les systèmes multi-agents : des agents de niveau supérieur décomposent les tâches complexes en sous-tâches, puis les attribuent à des agents de niveau inférieur. Les agents de niveau supérieur peuvent utiliser des grands modèles de langage (LLM) plus complexes, tandis que les agents de niveau inférieur s’appuient sur des architectures plus simples pour effectuer les tâches qui leur sont confiées. Les systèmes agentiques hiérarchiques peuvent néanmoins utiliser des agents de n’importe quel niveau de complexité. 

Les deux groupes d’agents travaillent ensemble, les sorties produites par l’un alimentant les entrées de l’autre, et inversement. Le workflow agentique coordonne la communication et la coopération entre les différents niveaux d’agents du système d’IA.

Bien que les agents réflexes fondés sur un modèle offrent une grande flexibilité, ils ne conviennent pas à toutes les applications. Leurs limites sont notamment les suivantes : 

• Exigences en matière de calcul : la conservation et l’actualisation continue du modèle interne peuvent consommer d’importantes ressources informatiques, ce qui risque de réduire la capacité de l’agent à réagir rapidement dans les environnements où le facteur temps est essentiel.
   

• Dépendance au modèle interne : l’efficacité d’un agent réflexe fondé sur un modèle dépend directement de celle de son modèle interne. Si ce modèle ne correspond plus aux conditions du monde réel, l’agent risque de prendre des décisions sous-optimales, voire incorrectes.
   

• Capacité d’adaptation limitée : les agents réflexes fondés sur un modèle ne peuvent pas apprendre de manière autonome ni actualiser leur ensemble de règles. Si l’environnement évolue au-delà des situations pour lesquelles l’agent a été programmé, celui-ci ne pourra pas s’adapter.
   

• Absence de planification à long terme : les agents réflexes sont réactifs par nature. Contrairement aux agents fondés sur des objectifs ou aux agents d’apprentissage, ils ne peuvent pas élaborer de stratégies à long terme afin de poursuivre des objectifs plus généraux.
   

• Objectif unique : les agents réflexes fondés sur un modèle sont conçus pour remplir une seule fonction et ne peuvent pas trouver un équilibre entre plusieurs directives ou entre des directives contradictoires.