Qu’est-ce qu’un agent basé sur l’utilité ?

L’objectif d’un agent basé sur les fonctionnalités est de maximiser la fonction d’utilité à chaque action. Pour atteindre son objectif, l’agent d’IA utilise les résultats de la fonctionnalité pour choisir l’action suivante la plus bénéfique.

Les principaux composants d’un agent basé sur la fonctionnalité sont les suivants :

• Fonctionnalité
   

• Capteurs
   

• Modèle interne
   

• Mécanisme de sélection des actions
   

• Actionneurs

Une fonctionnalité est une équation mathématique qui représente la façon dont l’agent doit évaluer l’avantage de toute action possible. Il s’agit essentiellement du système de valeurs de l’agent et représente la façon dont l’agent priorise les facteurs pertinents lors de ses choix. 

Les fonctionnalités attribuent une valeur numérique à chaque résultat d’une action potentielle, quantifiant ainsi les préférences que l’agent doit conserver. Les agents basés sur la fonctionnalité se servent de cette fonction pour négocier des environnements complexes, évaluer les compromis et maximiser l’utilité de leurs choix. 

Une bonne fonctionnalité prend en compte de multiples considérations, telles que la sécurité, l’efficacité, l’allocation des ressources et les coûts d’opportunité multi-objectifs. La fonctionnalité est la clé de voûte d’un agent basé sur la fonctionnalité et c’est ce qui le différencie des différents types d’agents d’IA.

Les agents basés sur les fonctionnalités utilisent des capteurs pour percevoir leur environnement réel. Les capteurs peuvent être physiques, comme les caméras et les thermomètres, ou numériques, comme les connexions API et les simulations. La perception par IA agentique utilise des algorithmes complexes pour filtrer les données environnementales et isoler les points de données les plus importants et pertinents pour prendre des décisions éclairées.

Les agents basés sur la fonctionnalité conservent un modèle interne simplifié de leur environnement réel. Le modèle est créé et mis à jour en fonction des données perçues par les capteurs de l’agent. En suivant les données environnementales dans le temps, le modèle interne peut également déduire des données inobservables sur l’environnement de l’agent.

De nombreux agents basés sur les fonctionnalités utilisent un modèle de transition étatique du monde, qui établit les états possibles de l’environnement et les critères permettant de déterminer quand et comment il passe de l’un à l’autre. Les modèles de transition d’état montrent comment un système ou un environnement dynamique peut évoluer au fil du temps. Des modèles de transition d’état plus avancés calculent la probabilité que l’environnement change d’état à tout moment. 

La fonctionnalité attribue une valeur à chaque état, et l’agent vise à déplacer l’environnement vers l’état futur ayant la fonctionnalité la plus élevée. Les modèles de transition d’état sont particulièrement utiles dans les environnements stochastiques ou dynamiques, où l’agent doit raisonner sur les probabilités plutôt que sur les certitudes.

Le mécanisme de sélection des actions est le composant de prise de décision IA de l’agent. En fonction de l’état actuel du modèle interne, l’agent génère une liste de toutes les actions potentielles qu’il peut entreprendre. Les algorithmes de sélection des actions utilisent la fonctionnalité pour évaluer toutes les différentes actions et optimiser le choix de l’agent pour un bénéfice global maximal.

Dans certaines implémentations modernes, les grands modèles de langage (LLM) sont utilisés pour raisonner sur des objectifs complexes et de haut niveau ou pour interpréter des entrées ambiguës avant de les convertir en calculs de fonctionnalité structurés.

Les actionneurs, ou éléments de performance, permettent à l’agent d’agir sur son environnement. Les actionneurs physiques peuvent prendre la forme d’un bras robotisé sur une chaîne de production, d’un thermostat régulant la température d’une maison connectée ou d’un véhicule entièrement autonome. Les actionneurs virtuels ou numériques peuvent être une connexion API, une interface de chatbot ou une production logicielle.

Les agents basés sur la fonctionnalité partagent un workflow interne standard qui guide leur comportement :

1. Perception
    

2. Modélisation interne
    

3. Génération d’actions
    

4. Prédiction des résultats
    

5. Évaluation des fonctionnalités
    

6. Sélection des actions
   
   

7. Action

L'agent utilise ses capteurs pour percevoir son environnement et collecter des données. Ces données sont utilisées pour informer l'agent de son propre état et de l'état actuel de son environnement.

En utilisant les perceptions actuelles de ses capteurs, l’agent met à jour son modèle interne de son environnement en temps réel. L’agent comprend ainsi son environnement et tous les facteurs pertinents qui affectent son processus de prise de décision.

L’agent utilise des algorithmes de recherche et d’optimisation pour générer une liste d’actions potentielles qu’il peut entreprendre, sur la base de l’état de son modèle interne. Les techniques de génération d’actions et de sélection encouragent l’agent à considérer des idées nouvelles et à se référer à des expériences passées avec des résultats prouvés afin de maintenir une performance fiable. 
 
En pratique, de nombreux agents ne génèrent pas explicitement une liste complète des actions possibles. Ils utilisent plutôt des méthodes d’optimisation ou de renforcement pour évaluer les meilleures actions probables dans un espace d’action continu.

Pour chaque action générée à l’étape précédente, l’agent utilise son modèle de transition d’état pour prédire le résultat attendu. Le modèle calcule la probabilité qu’un certain état soit atteint lorsque l’agent entreprend une action spécifique.

Le mécanisme de sélection des actions de l’agent applique la fonctionnalité à chaque action générée et au résultat probable associé. La fonction renvoie un score de fonctionnalité numérique pour chaque choix possible. Les scores les plus élevés correspondent à une plus grande fonctionnalité globale.

L’agent sélectionne l’action menant au résultat ayant le plus grand avantage global, tel que déterminé par les préférences de la fonctionnalité. L’objectif de l’agent étant de maximiser sa fonctionnalité, le processus de sélection des actions conduit l’agent à agir en fonction des objectifs du système d’IA dans lequel l’agent est utilisé.

L’agent sélectionne l’action menant au résultat ayant le plus grand avantage global, tel que déterminé par les préférences de la fonctionnalité. L’objectif de l’agent étant de maximiser sa fonctionnalité, l’agent agit de manière à favoriser les objectifs du système d’IA dans lequel il est utilisé.

Les agents basés sur la fonctionnalité sont idéaux pour les tâches complexes avec plusieurs directives concurrentes. En voici quelques exemples : 

• Maisons intelligentes : les agents basés sur les fonctionnalités peuvent alimenter les systèmes intelligents d’une maison intelligente, en évaluant les priorités telles que le confort, les coûts énergétiques et la durabilité. 

• Voitures autonomes : les véhicules autonomes posent un certain nombre de problèmes complexes aux ingénieurs en machine learning. Les voitures contrôlées par des agents doivent faire face à des pilotes humains, des piétons, des obstacles, des conditions météorologiques, des fermetures de routes et bien d’autres conditions dans un environnement dynamique. La résolution de problèmes dans ce contexte nécessite une fonctionnalité bien conçue. 

• Santé : parce qu’ils sont capables de jongler avec diverses considérations en vue d’un avantage maximal, les agents basés sur la fonctionnalité pourraient être en mesure d’aider à formuler des plans de traitement et à gérer les coûts. 

• Robotique : les robots doivent également tenir compte de différents facteurs afin d’obtenir un avantage maximal. Les bots de livraison présentent de nombreuses considérations similaires à celles des véhicules autonomes. 

• Systèmes de recommandation et de tarification : la fonctionnalité permet à l’agent d’évaluer des facteurs tels que les préférences de l’utilisateur, l’heure de la journée et de l’année, ainsi que les tendances générales, afin de divertir l’utilisateur. Dans les systèmes d’IA génératifs, une approche basée sur la fonctionnalité peut guider la génération du contenu qui correspond le mieux à l’intention, au contexte et aux objectifs d’engagement à long terme de l’utilisateur. 

• Systèmes de tarification : de même, les agents basés sur la fonctionnalité peuvent gérer des systèmes de tarification dynamiques afin de maximiser les achats et les revenus d’une entreprise. 

• Logistique et automatisation des chaînes d’approvisionnement : les chaînes d’approvisionnement complexes doivent équilibrer des facteurs tels que l’efficacité, les coûts, le risque, la qualité et bien d’autres. Les entreprises peuvent adapter la fonctionnalité d’un agent logistique pour prioriser les facteurs les plus importants pour leur activité et créer un système évolutif.

Les agents basés sur la fonctionnalité et les agents axés sur des objectifs sont tous deux utiles dans des situations où l’agent doit œuvrer vers un résultat à long terme. Cependant, la différence, c’est que les agents basés sur la fonctionnalité cherchent à maximiser la fonctionnalité de leurs choix, tandis que les agents basés sur des objectifs poursuivent des objectifs spécifiques. Ils sont motivés par l’atteinte des objectifs. 

Alors qu’un agent basé sur des objectifs traite tous les états permettant d’atteindre un objectif comme également souhaitable, un agent basé sur l’utilité peut les différencier par degré, ce qui permet une prise de décision plus nuancée. Les agents basés sur la fonctionnalité peuvent gérer de multiples objectifs contradictoires et maintenir la performance même face à des résultats incertains.

Les agents basés sur la fonctionnalité sont résilients, capables de faire face à des problèmes complexes et à des environnements changeants tout en obtenant des résultats constants. Les avantages des agents basés sur la fonctionnalité sont les suivants : 

• Adaptabilité : les agents basés sur la fonctionnalité utilisent des fonctions d’utilité fluides plutôt que des systèmes basés sur des règles fixes telles que les règles condition-action. Ils peuvent s’adapter à des conditions changeantes et à de nouvelles tâches où les agents réflexes simples de bas niveau et les agents réflexes basés sur des modèles peuvent peiner face à leur programmation rigide basée sur des règles.
   

• Flexibilité : Les agents basés sur la fonctionnalité peuvent gérer avec succès des priorités concurrentes pour prendre des décisions qui aboutissent tout de même à de bons résultats. Les agents basés sur des objectifs se concentrent uniquement sur un objectif spécifique et peuvent avoir du mal à prendre en compte d’autres directives.
   

• Fiabilité : les fonctions d’utilité permettent aux agents basés sur l’utilité de prendre des décisions rationnelles, même lorsque les résultats sont incertains. Les décisions prises par ces agents sont probablement celles qui conduisent à des résultats à long terme plus bénéfiques.

Bien que les agents basés sur la fonctionnalité soient performants dans de nombreux domaines, ils ne sont pas toujours la meilleure option. Voici leurs limites : 

• Rigidité : sans élément d’apprentissage, les agents basés sur la fonctionnalité ne peuvent pas apprendre de leurs actions, ni mettre à jour leurs fonctions fonctionnalité et leurs modèles de transition d’état de manière autonome. L’ajout d’un élément d’apprentissage leur permet de s’améliorer grâce à l’apprentissage par renforcement. l’apprentissage par renforcement, mais les définit plus formellement comme des agents hybrides ou même des agents d’apprentissage.
   

• Exigences informatiques : les fonctionnalités sont des algorithmes complexes, et leur exécution en continu nécessite beaucoup de calcul et d’énergie. Sans une capacité de calcul suffisante, les agents basés sur des fonctionnalités peuvent être trop lents pour une utilisation en temps réel dans des situations sensibles au facteur temps.
   

• Complexité : des fonctionnalités efficaces sont difficiles à concevoir, et un agent basé sur la fonctionnalité est aussi efficace que sa fonctionnalité. Les ingénieurs de machine learning doivent convertir avec succès leur système de valeurs en une équation numérique qui oblige l’agent à faire les choix appropriés.
   

• Considérations éthiques : le choix basé sur la fonctionnalité pose une préoccupation éthique. Qui détermine le système de valeurs de l’agent, en particulier pour les voitures autonomes, s’il s’agit d’un agent capable de blesser des humains ? Les agents intelligents devenant de plus en plus autonomes et omniprésents, il est critique de définir qui détermine leurs systèmes de valeurs sous-jacents et comment ces valeurs s’alignent sur l’éthique sociétale. 
   

Pour surmonter certains de ces défis, les agents basés sur les fonctionnalités sont souvent intégrés dans des systèmes multi-agents, où plusieurs agents spécialisés collaborent, partagent des informations et équilibrent des objectifs concurrents. Dans de telles architectures, la fonctionnalité de chaque agent contribue à la stratégie d’optimisation collective du système.