¿Qué es un agente reflejo basado en modelos?

Los agentes de reflejos basados en modelos están diseñados para operar en entornos dinámicos o parcialmente observables. El modelo de referencia interno del agente se actualiza como resultado de las acciones del agente, lo que permite que el modelo infiera otros aspectos de su entorno. A su vez, el agente se refiere a su estado interno para informar acciones futuras.

La diferencia entre los agentes reflejos basados en modelos y los agentes reflejos simples es que, si bien ambos tipos de agentes de IA pueden usar la percepción del agente de IA para reaccionar a entornos cambiantes en tiempo real, los agentes reflejos basados en modelos tienen una memoria persistente de su entorno. Los agentes reflejos simples son una forma menos compleja de IA agéntica que toman decisiones basadas únicamente en el estado actual del entorno. 

Con solo su percepción actual disponible, los agentes reflejos simples están limitados en términos de toma de decisiones informada: no pueden recordar información previa ni anticipar cómo cambiará su entorno, ya sea como resultado de sus propias acciones o de otros factores externos. 

A diferencia de los agentes reflejos simples, los agentes reflejos basados en modelos mantienen un estado interno simbólico que registra percepciones pasadas y hechos ambientales inferidos. El modelo interno les permite manejar entornos parcialmente observables o dinámicos de manera más efectiva. Estos agentes pueden predecir cómo las acciones podrían hacer que su entorno cambie, lo que permite procesos de toma de decisiones adaptativos.

Los agentes reflejos basados en modelos se conforman de cuatro componentes principales:

• Sensores
   

• Modelo interno
   

• Componente de razonamiento
   

• Actuadores

Los sensores permiten al agente percibir estímulos e información ambientales. La entrada sensorial puede incluir información física directa, como la transmisión de una cámara o la lectura de temperatura, o datos virtuales, como conexiones de API o transmisiones simuladas. Sin sensores, el agente no podría recopilar ni aprender de los datos ambientales.

El modelo interno representa la comprensión actual del agente de su entorno, incluidas las experiencias pasadas, los estados invisibles inferidos y las predicciones de cómo las posibles acciones podrían cambiar ese entorno.

Un componente de razonamiento toma decisiones basadas en los datos del modelo interno. El razonamiento del agente a menudo se basa en reglas, como con la regla de condición-acción que utiliza reglas predefinidas que le indican al agente cómo actuar.  

La regla de condición-acción establece una serie de declaraciones si-entonces que le dicen a un agente qué hacer en una situación específica. Por ejemplo, con un automóvil autónomo, una regla de condición-acción podría decirle al agente que frene cuando se detecta un obstáculo frente al vehículo autónomo. O si el agente está controlando una casa inteligente, podría encender el aire acondicionado cuando el termostato registra una temperatura específica. 

Otros componentes de razonamiento utilizan el modelo estado-acción, que describe los posibles estados de un sistema y cualquier acción o evento que pueda hacer que se mueva entre esos estados. En el ámbito de atención médica, los modelos de estado-acción pueden predecir cómo la condición de un paciente podría mejorar o empeorar con posibles tratamientos.

Los actuadores, o elementos de rendimiento, son los medios por los que el agente afecta su entorno. Las acciones pueden ser físicas o virtuales, como resultados de software o llamadas a la API. En robótica, un actuador es el robot físico que controla el agente. En un entorno de hogar inteligente, un actuador es el sistema de control climático del hogar. Para un asistente virtual, los actuadores pueden ser conexiones de API a herramientas relevantes, como un calendario.

La mayoría de los agentes reflejos basados en modelos operan según un bucle conductual de cuatro etapas:

1. Detección
    

2. Modelado interno
    

3. Toma de decisiones
    

4. Acción

Después de cada acción, el modelo reinicia el bucle, reevaluando su entorno, actualizando su modelo y haciendo una nueva elección. Estos bucles son explícitamente de no aprendizaje: el modelo interno del agente se actualiza, pero las reglas del agente no.

El agente utiliza sus sensores para percibir su entorno y asimilar datos observables. Por ejemplo, un agente que opera una flota de bots de entrega puede usar sus cámaras para detectar peatones y tráfico en la calle.

Utilizando los datos ambientales que percibe, el agente crea o actualiza el modelo interno de su entorno real. El modelo utiliza datos observables para inferir el estado de aspectos no observables del entorno. Los modelos internos también proporcionan acciones potenciales que puede tomar el agente y predicen cómo esas acciones podrían afectar su entorno.

El agente utiliza la información de su modelo interno junto con la lógica de su componente de razonamiento para decidir una acción. Si un robot de entrega detecta una señal para caminar y no hay tráfico en sentido contrario, podría decidir cruzar una calle.

En la fase de acción, el agente utiliza sus actuadores para llevar a cabo la decisión tomada en la fase de toma de decisiones. Nuestro bot de entrega activaría su motor para enviar energía a sus ruedas y cruzar la calle, avanzando en su camino.

Los agentes reflejos basados en modelos son efectivos en entornos que requieren detección continua y toma de decisiones en tiempo real, como robótica, vehículos autónomos e IA de juegos en tiempo real. 

Con la robótica y los vehículos autónomos, los agentes reflejos basados en modelos navegan por entornos dinámicos para minimizar los daños y guiar al robot o vehículo a su destino. Los agentes de juego pueden predecir las acciones del usuario y reaccionar para proporcionar el grado de desafío que necesita el diseñador del juego. 

En los casos de uso de automatización empresarial a gran escala, los agentes reflejos basados en modelos maximizan la eficiencia, modificando la producción y el inventario en respuesta a las condiciones cambiantes.

Los agentes reflejos no son los únicos tipos de agentes que existen. Otros tipos de agentes incluyen:

• Agentes basados en objetivos
   

• Agentes basados en utilidades
   

• Agentes de aprendizaje
   

• Agentes jerárquicos

Los agentes basados en objetivos trabajan hacia un objetivo específico. Mientras que los agentes reflejos suelen operar de forma reactiva bajo un conjunto de condicionales si-entonces, los agentes basados en objetivos utilizan técnicas de resolución de problemas para descubrir cómo lograr objetivos específicos. El plan consiste en una serie de acciones y tareas específicas que probablemente conduzcan a la realización de la meta. 

Los agentes basados en objetivos emplean algoritmos de machine learning de búsqueda y planificación, como A* o Stanford Research Institute Problem Solver, para generar una secuencia de acciones destinadas a lograr el objetivo.

Los agentes basados en utilidades son similares a los agentes basados en objetivos, pero se centran en la eficiencia. Una utilidad analiza los posibles estados futuros para obtener la máxima efectividad y asigna un valor numérico a los resultados para mitigar la incertidumbre. La estrategia óptima es aquella que maximiza la utilidad esperada de las opciones del agente. Los agentes basados en utilidades se centran en obtener los mejores resultados a largo plazo.

Los agentes de aprendizaje cuentan con un elemento de aprendizaje que optimiza el comportamiento del agente y los procesos de toma de decisiones en función de los resultados de sus elecciones pasadas. Un componente generador de problemas propone nuevas estrategias exploratorias, ayudando al agente a descubrir mejores comportamientos en lugar de repetir los antiguos. Estos agentes inteligentes mejoran con el tiempo. 

Los agentes de aprendizaje utilizan métodos como el aprendizaje supervisado, el aprendizaje no supervisado y el aprendizaje por refuerzo para refinar su comportamiento. 

Por ejemplo, un agente de aprendizaje al que se le pide que cree un sistema de precios dinámico analizará la respuesta y la demanda de los consumidores para ajustar los precios futuros. Los agentes de aprendizaje pueden adaptar a las preferencias de un solo usuario con procesamiento de lenguaje natural y una interfaz de chatbot para procesar entradas y feedback.

En los sistemas multiagente se usan agentes jerárquicos: los agentes de nivel superior dividen las tareas complejas en subtareas y luego las asignan a los agentes de nivel inferior para que las completen. Los agentes de nivel superior pueden ser modelos de lenguaje grandes (LLM) más complejos, mientras que los agentes de nivel inferior utilizan arquitecturas más simples para llevar a cabo las asignaciones. Sin embargo, los sistemas agénticos jerárquicos pueden usar agentes de cualquier nivel de complejidad. 

Los dos grupos de agentes trabajan juntos: las entradas de un grupo alimentan los resultados del otro y viceversa. El flujo de trabajo con agentes coordina la comunicación y la cooperación entre los distintos niveles de agentes en el sistema de IA.

Si bien los agentes reflejos basados en modelos ofrecen una flexibilidad considerable, no son adecuados para todas las aplicaciones. Los límites de los agentes reflejos basados en modelos incluyen: 

• Requisitos de cómputo: mantener y actualizar continuamente el modelo interno puede consumir recursos computacionales significativos, lo que puede reducir la capacidad del agente para reaccionar rápidamente en entornos sensibles al tiempo.
   

• Dependencia del modelo interno: un agente de reflejos basado en un modelo es tan eficaz como su modelo interno. Si ese modelo se desvía de las condiciones del mundo real, el agente puede tomar decisiones subóptimas o incluso incorrectas.
   

• Adaptabilidad limitada: los agentes reflejos basados en modelos no pueden aprender y actualizar de forma independiente su conjunto de reglas. Si el entorno cambia más allá de las condiciones para las que el agente fue programado, no podrá adaptarse.
   

• Sin planificación a largo plazo: los agentes reflejos basados en modelos son reactivos por naturaleza. A diferencia de los agentes basados en objetivos o de aprendizaje, no pueden desarrollar estrategias a largo plazo para perseguir objetivos más amplios.
   

• Propósito de enfoque único: los agentes reflejos basados en modelos están diseñados para lograr una función específica y no pueden equilibrar directivas múltiples o conflictivas.