¿Qué es un agente basado en utilidades?

El objetivo de un agente basado en servicios es maximizar la función de servicios con cada acción. Para lograr su objetivo, el agente de IA utiliza los resultados de la función de servicios para elegir la siguiente acción más beneficiosa.

Los componentes principales de un agente basado en la utilidad son:

• Función de utilidad
   

• Sensores
   

• Modelo interno
   

• Mecanismo de selección de acciones
   

• Actuadores

Una función de utilidad es una ecuación matemática que representa cómo el agente debe evaluar el beneficio de cualquier posible acción que pueda realizar. Es esencialmente el sistema de valores del agente y representa cómo éste prioriza los factores relevantes a la hora de tomar decisiones. 

Las funciones de utilidad asignan un valor numérico a cada resultado de una acción potencial, cuantificando las preferencias que debe mantener el agente. Los agentes basados en la utilidad utilizan la función de servicios para negociar entornos complejos, sopesar las compensaciones y maximizar los servicios de sus elecciones. 

Una buena función de utilidad tiene en cuenta múltiples consideraciones, como la seguridad, la eficiencia, la asignación de recursos y los costes de oportunidad multiobjetivo. La función de utilidad es la piedra angular de un agente basado en la utilidad y es lo que los diferencia de los distintos tipos de agentes de IA.

Los agentes basados en la utilidad utilizan sensores para percibir su entorno real. Los sensores pueden ser físicos, como cámaras y termómetros, o digitales, como conexiones API y simulaciones. La percepción mediante IA agéntica utiliza algoritmos complejos para filtrar los datos ambientales y aislar los puntos de datos más importantes y relevantes para la toma de decisiones informadas.

Los agentes basados en la utilidad mantienen un modelo interno simplificado de su entorno real. El modelo se crea y actualiza en función de los datos percibidos por los sensores del agente. Mediante el seguimiento de los datos medioambientales a lo largo del tiempo, el modelo interno también puede inferir datos no observables sobre el entorno del agente.

Muchos agentes basados en la utilidad utilizan un modelo de transición de estados del mundo, que establece los posibles estados del entorno y los criterios para saber cuándo y cómo se cambia de uno a otro. Los modelos de transición de estados muestran cómo un sistema o un entorno dinámico puede cambiar con el tiempo. Los modelos de transición de estado más avanzados calculan la probabilidad de que el entorno cambie su estado actual en cualquier momento. 

La función de utilidad asigna un valor a cada estado, y el agente pretende mover el entorno hacia el estado futuro con la mayor utilidad. Los modelos de transición de estados son especialmente útiles en entornos estocásticos o dinámicos, en los que el agente debe razonar sobre probabilidades más que sobre certezas.

El mecanismo de selección de acciones es el componente de toma de decisiones de IA del agente. Basándose en el estado actual del modelo interno, el agente genera una lista de todas las acciones potenciales que puede emprender. Los algoritmos de selección de acciones utilizan la función de utilidad para evaluar todas las acciones diferentes y optimizar la elección del agente para obtener el máximo beneficio global.

En algunas implementaciones modernas, los modelos de lenguaje de gran tamaño (LLM) se utilizan para razonar sobre objetivos complejos y de alto nivel o para interpretar entradas ambiguas antes de convertirlas en servicios estructurados de utilidad.

Los actuadores, o elementos de rendimiento, permiten al agente actuar sobre su entorno. Los actuadores físicos pueden ser un brazo robótico en una línea de fabricación, un termostato que controla la temperatura de una casa inteligente o un vehículo autónomo completo. Los actuadores virtuales o digitales pueden ser una conexión API, un chatbot o un output de software.

Los agentes basados en la utilidad comparten un flujo de trabajo estándar que guía su comportamiento:

1. Percepción
    

2. Modelización interna
    

3. Generación de acciones
    

4. Predicción de resultados
    

5. Evaluación de utilidades
    

6. Selección de acciones
   
   

7. Acción

El agente utiliza sus sensores para percibir su entorno y recopilar datos. Estos datos se utilizan para informar al agente sobre su propio estado y el estado actual de su entorno.

Utilizando las percepciones actuales de sus sensores, el agente actualiza su modelo interno de su entorno en tiempo real. Esto le da al agente una comprensión de su entorno y de cualquier factor relevante que afecte a su proceso de toma de decisiones.

El agente utiliza algoritmos de búsqueda y optimización para generar una lista de acciones potenciales que puede llevar a cabo, basándose en el estado de su modelo interno. Las técnicas de generación y selección de acciones animan al agente a considerar ideas novedosas y a hacer referencia a experiencias pasadas con resultados probados para mantener un rendimiento fiable. 

En la práctica, muchos agentes no generan explícitamente una lista completa de acciones posibles. En su lugar, utilizan métodos de optimización o refuerzo para evaluar las mejores acciones probables dentro de un espacio de acción continua.

Para cada acción generada en el paso anterior, el agente utiliza su modelo de transición de estados para predecir el resultado esperado. El modelo calcula la probabilidad de que se alcance un determinado estado cuando el agente realiza una acción específica.

El mecanismo de selección de acciones del agente aplica los servicios a cada acción generada y al resultado probable asociado. La función devuelve una puntuación de utilidad numérica para cada opción posible. Puntuaciones más altas representan una mayor utilidad global.

El agente selecciona la acción que conduce al resultado con el mayor beneficio global, determinado por las preferencias de la función de utilidad. Dado que el objetivo del agente es maximizar su función de utilidad, el proceso de selección de acciones lleva al agente a actuar de un modo que fomenta los objetivos del sistema de IA en el que se utiliza el agente.

El agente selecciona la acción que conduce al resultado con el mayor beneficio global, determinado por las preferencias de la función de utilidad. Como el objetivo del agente es maximizar su función de utilidad, el agente actúa de una manera que promueve los objetivos del sistema de IA en el que se utiliza el agente.

Los agentes basados en la utilidad son ideales para tareas complejas con múltiples directivas en competencia. Pueden incluir: 

• Hogares inteligentes: los agentes basados en la utilidad públicos pueden alimentar los sistemas inteligentes de un hogar inteligente, sopesando prioridades como el confort, los costes energéticos y la sostenibilidad. 

• Coches autónomos: los vehículos autónomos plantean una serie de problemas complejos para los ingenieros de machine learning. Los coches controlados por agentes deben enfrentarse a controladores humanos, peatones, obstáculos, condiciones meteorológicas, cierres de carreteras y muchas otras condiciones en un entorno dinámico. La resolución de problemas en este entorno requiere una función de utilidad bien diseñada. 

• Sanidad: debido a que pueden hacer malabarismos con varias consideraciones en busca del máximo beneficio, los agentes basados en la utilidad públicos podrían ayudar a formular planes de tratamiento y gestionar los costes. 

• Robótica: los robots también tienen que sopesar varios factores para obtener el máximo beneficio. Los bots de entrega tienen muchas de las mismas consideraciones que los vehículos autónomos. 

• Sistemas de recomendación y precios: la función de utilidad permite al agente sopesar factores como las preferencias del usuario, la hora del día y el año y las tendencias más importantes para mantener al usuario entretenido. En los sistemas de IA generativa, un enfoque basado en servicios puede guiar la generación del contenido que mejor se adapte a la intención del usuario, el contexto y los objetivos de compromiso a largo plazo. 

• Sistemas de precios: Del mismo modo, los agentes basados en la utilidad pueden gestionar sistemas de precios dinámicos para maximizar las compras y los ingresos de una empresa. 

• Logística y automatización dela cadena de suministro : Las cadenas de suministro complejas deben equilibrar factores como la eficacia, los costes, el riesgo y la calidad, entre otros. Las empresas pueden adaptar la función de utilidad de un agente logístico para priorizar los factores más importantes para su negocio y crear un sistema escalable.

Tanto los agentes basados en la utilidad como los agentes basados en objetivos son útiles en situaciones en las que el agente debe trabajar para lograr un resultado a largo plazo. Sin embargo, la diferencia es que mientras los agentes basados en la utilidad buscan maximizar los servicios de sus elecciones, los agentes basados en objetivos persiguen metas específicas. Su motivación reside en el logro de objetivos. 

Mientras que un agente basado en objetivos trata todos los estados de consecución de objetivos como igualmente deseables, un agente basado en servicios puede diferenciarlos por grados, lo que permite una toma de decisiones más matizada. Los agentes basados en la utilidad pueden gestionar múltiples objetivos en conflicto y mantener el rendimiento incluso ante resultados inciertos.

Los agentes basados en la utilidad son resistentes, capaces de navegar por problemas complejos y entornos cambiantes mientras ofrecen Resultados consistentes. Los beneficios de los agentes basados en la utilidad incluyen: 

• Adaptabilidad: los agentes basados en la utilidad utilizan funciones de servicios fluidos en lugar de sistemas fijos basados en reglas, como las reglas de condición-acción. Pueden adaptarse a condiciones cambiantes y a nuevas tareas cuando los agentes reflejos simples y agentes reflejos basados en modelos podrían luchar contra su rígida programación basada en reglas.
   

• Flexibilidad: Los agentes basados en la utilidad públicos pueden gestionar con éxito prioridades en competencia para tomar decisiones que aún así conducen a buenos resultados. Los agentes basados en objetivos se centran singularmente en un objetivo específico y pueden tener dificultades para considerar otras directivas.
   

• Fiabilidad: Las funciones de servicios llevan a los agentes basados en la utilidad a tomar decisiones racionales incluso cuando los resultados son inciertos. Es probable que las decisiones que tomen estos agentes sean las que conduzcan a resultados más beneficiosos a largo plazo.

Aunque los agentes basados en los servicios son capaces en muchos entornos, no siempre son la mejor opción. Sus limitaciones incluyen: 

• Rigidez: Sin un elemento de aprendizaje, los agentes basados en la utilidad no pueden aprender de sus acciones y actualizar sus funciones de servicios y sus modelos de transición de estados de forma autónoma. Agregar un elemento de aprendizaje les permite mejorar mediante el aprendizaje por refuerzo, pero los define de manera más formal como agentes híbridos o incluso agentes de aprendizaje.
   

• Exigencias computacionales: Los servicios son algoritmos complejos, y su ejecución continua requiere una gran cantidad de computación y energía. Sin suficiente capacidad de cálculo, los agentes basados en la utilidad podrían ser demasiado lentos para su uso en tiempo real en situaciones sensibles al tiempo.
   

• Complejidad: Las funciones de servicios eficaces son difíciles de diseñar, y un agente basado en los servicios sólo es tan eficaz como su función de utilidad. Los ingenieros de machine learning deben convertir correctamente su sistema de valores en una ecuación numérica que obligue al agente a tomar las decisiones adecuadas.
   

• Consideraciones éticas: la elección basada en los servicios plantea una preocupación ética. ¿Quién determina el sistema de valores del agente —especialmente, como ocurre con los coches autónomos— si se trata de un agente con la capacidad de dañar a los humanos? A medida que los agentes inteligentes se vuelven más autónomos y omnipresentes, es crítico definir quién determina sus sistemas de valores subyacentes y cómo esos valores se alinean con la ética social. 
   

Para superar algunos de estos desafíos, los agentes basados en la utilidad públicos suelen integrarse en sistemas multiagente, donde varios agentes especializados colaboran, comparten información y equilibran objetivos en competencia. En tales arquitecturas, la función de utilidad de cada agente contribuye a la Estrategia de optimización colectiva del sistema.