¿Qué es un agente reflejo basado en modelos?

Los agentes reflejos basados en modelos están diseñados para operar en entornos dinámicos o parcialmente observables. El modelo de referencia interno del agente se actualiza como resultado de las acciones del agente, lo que permite al modelo inferir otros aspectos de su entorno. A su vez, el agente hace referencia a su estado interno para informar sobre las acciones futuras.

La diferencia entre los agentes reflejos basados en modelos y los agentes reflejos simples es que, si bien ambos tipos de agentes de IA pueden utilizar la percepción de los agentes de IA para reaccionar a los cambios del entorno en tiempo real, los agentes reflejos basados en modelos tienen una memoria persistente de su entorno. Los agentes reflejos simples son una forma menos compleja de IA agéntica que toma decisiones únicamente basándose en el estado actual del entorno. 

Con solo su percepción actual disponible, los agentes reflejos simples están limitados en términos de toma de decisiones informada: no pueden recordar información previa ni anticipar cómo cambiará su entorno, ya sea como resultado de sus propias acciones o de otros factores externos. 

A diferencia de los agentes reflejos simples, los agentes reflejos basados en modelos mantienen un estado interno simbólico que registra las percepciones pasadas y los hechos ambientales inferidos. El modelo interno les permite gestionar entornos parcialmente observables o dinámicos de forma más eficaz. Estos agentes pueden predecir cómo las acciones podrían hacer que cambie su entorno, lo que permite procesos de toma de decisiones adaptativos.

Los agentes reflejos basados en modelos constan de cuatro componentes principales:

• Sensores
   

• Modelo interno
   

• Componente de razonamiento
   

• Actuadores

Los sensores permiten al agente percibir estímulos e información ambientales. La entrada sensorial puede incluir información física directa, como la alimentación de una cámara o la lectura de temperatura, o datos virtuales, como conexiones API o fuentes simuladas. Sin sensores, el agente no podría recopilar y aprender de los datos ambientales.

El modelo interno representa la comprensión actual del agente sobre su entorno, incluyendo experiencias pasadas, estados invertidos inferidos y predicciones sobre cómo las posibles acciones podrían cambiar ese entorno.

Un componente de razonamiento toma decisiones basadas en los datos del modelo interno. El razonamiento del agente suele basarse en reglas, como con la regla condición-acción, que utiliza reglas predefinidas que le dicen al agente cómo actuar.  

La regla de condición-acción establece una serie de instrucciones del tipo "si... entonces" ("if-then") que indican a un agente qué debe hacer en una situación concreta. Por ejemplo, en un coche autónomo, una regla de condición-acción podría indicar al agente que frene cuando se detecte un obstáculo delante del vehículo autónomo. O si el agente está controlando una casa inteligente, podría encender el aire acondicionado cuando el termostato registre una temperatura específica. 

Otros componentes de razonamiento utilizan el modelo de estado-acción, que describe los posibles estados de un sistema y cualquier acción o evento que pueda hacer que se mueva entre esos estados. En el ámbito sanitario, los modelos de acción estatal pueden predecir cómo la condición de un paciente podría mejorar o empeorar con posibles tratamientos.

Los actuadores, o elementos de rendimiento, son los medios mediante los cuales el agente influye en su entorno. Las acciones pueden ser físicas o virtuales, como outputs de software o llamadas a la API. En robótica, un actuador es el robot físico que controla el agente. En un entorno de hogar inteligente, uno de los actuadores es el sistema de control climático del hogar. Para un asistente virtual, los actuadores pueden ser conexiones API a herramientas relevantes, como un calendario.

La mayoría de los agentes reflejos basados en modelos operan según un bucle conductual de cuatro etapas:

1. Detección
    

2. Modelización interna
    

3. Toma de decisiones
    

4. Acción

Tras cada acción, el modelo reinicia el ciclo, reevalúa su entorno, actualiza su modelo y toma una nueva decisión. Estos bucles son explícitamente de no aprendizaje: el modelo interno del agente se actualiza, pero las reglas del agente no.

El agente utiliza sus sensores para percibir su entorno y captar datos observables. Por ejemplo, un agente que opera una flota de bots de reparto puede usar sus cámaras para detectar peatones y tráfico callejero.

Utilizando los datos ambientales que percibe, el agente crea o actualiza el modelo interno de su entorno real. El modelo utiliza datos observables para inferir el estado de aspectos no observables del entorno. Los modelos internos también proporcionan acciones potenciales que el agente puede realizar y predicen cómo esas acciones podrían afectar a su entorno.

El agente utiliza la información de su modelo interno junto con la lógica de su componente de razonamiento para decidir qué acción tomar. Si un robot de reparto detecta que el semáforo peatonal está en verde y no hay tráfico en sentido contrario, podría decidir cruzar la calle.

En la fase de acción, el agente utiliza sus actuadores para llevar a cabo la decisión tomada en la fase de toma de decisiones. Nuestro bot activaría su motor para enviar energía a sus ruedas y cruzaría la calle, avanzando en su camino.

Los agentes reflejos basados en modelos son eficaces en entornos que requieren detección continua y toma de decisiones en tiempo real, como la robótica, los vehículos autónomos y la IA de juegos en tiempo real. 

Con la robótica y los vehículos autónomos, los agentes reflejos basados en modelos navegan por entornos dinámicos para minimizar los daños y guiar al robot o vehículo a su destino. Los agentes de juego pueden predecir las acciones de los usuarios y reaccionar para proporcionar el grado de desafío que necesita el diseñador del juego. 

En los casos de uso de automatización empresarial a gran escala, los agentes reactivos basados en modelos maximizan la eficiencia y ajustan la producción y el inventario en respuesta a las condiciones cambiantes.

Los agentes reflejos no son los únicos tipos de agentes que existen. Otros tipos de agentes incluyen:

• Agentes basados en objetivos
   

• Agentes basados en la utilidad
   "  

• Agentes de aprendizaje
   

• Agentes jerárquicos

Los agentes basados en objetivos trabajan para alcanzar un objetivo específico. Mientras que los agentes reflejos suelen operar de forma reactiva bajo un conjunto de condicionales si-entonces, los agentes basados en objetivos utilizan técnicas de resolución de problemas para descubrir cómo lograr objetivos específicos. El plan consiste en una serie de medidas y tareas concretas que probablemente conduzcan a la consecución del objetivo. 

Los agentes basados en objetivos utilizan algoritmos de machine learning de búsqueda y planificación, como A* o el STRIPS (Stanford Research Institute Problem Solver), para generar una secuencia de acciones destinadas a lograr el objetivo.

Los agentes basados en servicios son similares a los agentes basados en objetivos, pero con un enfoque en la eficiencia. Una función de servicios analiza los posibles estados futuros para obtener la máxima eficacia y asigna un valor numérico a los resultados para mitigar la incertidumbre. La estrategia óptima es aquella que maximiza la utilidad esperada de las elecciones del agente. Los agentes basados en servicios se centran en obtener los mejores resultados a largo plazo.

Los agentes de aprendizaje cuentan con un elemento de aprendizaje que optimiza el comportamiento del agente y los procesos de toma de decisiones basándose en los resultados de sus elecciones pasadas. Un componente generador de problemas propone nuevas estrategias exploratorias, lo que ayuda al agente a descubrir mejores comportamientos en lugar de repetir los antiguos. Estos agentes inteligentes mejoran con el tiempo. 

Los agentes de aprendizaje utilizan métodos como el aprendizaje supervisado, el aprendizaje no supervisado y el aprendizaje por refuerzo para refinar su comportamiento. 

Por ejemplo, un agente de aprendizaje al que se le pida que cree un sistema de precios dinámico analizará la respuesta y la demanda de los consumidores para ajustar los precios futuros. Los agentes de aprendizaje pueden adaptarse a las preferencias de un solo usuario, utilizando procesamiento del lenguaje natural (PLN) y una interfaz de chatbot para procesar entradas y feedback.

Los agentes jerárquicos se utilizan en los sistemas con varios agentes: los agentes de nivel superior dividen las tareas complejas en subtareas y, a continuación, las asignan a agentes de nivel inferior para que las completen. Los agentes de nivel superior pueden ser modelos de lenguaje de gran tamaño (LLM) más complejos, mientras que los agentes de nivel inferior utilizan arquitecturas más simples para llevar a cabo las tareas. Sin embargo, los sistemas agénticos jerárquicos pueden utilizar agentes de cualquier nivel de complejidad. 

Los dos grupos de agentes trabajan juntos, los outputs de un grupo alimentan las entradas del otro y viceversa. El flujo de trabajo agéntico coordina la comunicación y la cooperación entre los distintos niveles de agentes en el sistema de IA.

Aunque los agentes reflejos basados en modelos ofrecen una flexibilidad considerable, no son adecuados para todas las aplicaciones. Los límites de los agentes reflejos basados en modelos incluyen: 

• Requisitos informáticos: mantener y actualizar continuamente el modelo interno puede consumir importantes recursos computacionales, lo que puede reducir la capacidad del agente de reaccionar rápidamente en entornos en los que el tiempo es urgente.
   

• Dependencia interna del modelo: un agente reflejo basado en modelos solo es tan efectivo como su modelo interno. Si ese modelo difiere de las condiciones del mundo real, el agente puede tomar decisiones subóptimas o incluso incorrectas.
   

• Adaptabilidad limitada: los agentes reflejos basados en modelos no pueden aprender y actualizar su conjunto de reglas de forma independiente. Si el entorno cambia más allá de las condiciones para las que el agente estaba programado, no podrá adaptarse.
   

• Sin planificación a largo plazo: los agentes reflejos basados en modelos son reactivos por naturaleza. A diferencia de los agentes basados en objetivos o de aprendizaje, no pueden desarrollar estrategias a largo plazo para perseguir objetivos más amplios.
   

• Propósito de enfoque único: los agentes reflejos basados en modelos están diseñados para lograr una función específica y no pueden equilibrar directivas múltiples o contradictorias.