¿Qué es el aprendizaje de refuerzo?

Un agente autónomo es cualquier sistema que puede tomar decisiones y actuar en respuesta a su entorno independientemente de las instrucciones directas de un usuario humano. Los robots y los coches autónomos son ejemplos de agentes autónomos.

En el aprendizaje por refuerzo, los agentes autónomos aprendem a realizar una tarea por ensayo y error en ausencia de cualquier orientación por parte de un usuario humano. ¹ Aborda especialmente los problemas de toma de decisiones secuenciales en entornos inciertos, y se muestra prometedor en el desarrollo de la inteligencia artificial.

La literatura a menudo contrasta el aprendizaje por refuerzo con el aprendizaje supervisado y no supervisado. El aprendizaje supervisado utiliza datos etiquetados de forma manual para producir predicciones o clasificaciones. El aprendizaje no supervisado tiene como objetivo descubrir y aprender patrones ocultos a partir de datos no etiquetados. A diferencia del aprendizaje supervisado, el aprendizaje por refuerzo no utiliza ejemplos etiquetados de comportamiento correcto o incorrecto. Pero el aprendizaje por refuerzo también se diferencia del aprendizaje no supervisado en que el primero aprende por ensayo y error y por función de recompensa en lugar de extraer información de patrones ocultos².

Los métodos de aprendizaje supervisado y no supervisado suponen que cada registro de datos de entrada es independiente de otros registros del conjunto de datos, pero que cada registro actualiza un modelo común subyacente de distribución de datos. Estos métodos aprenden a predecir con el rendimiento del modelo medido de acuerdo con la maximización de la precisión de la predicción.

En cambio, el aprendizaje por refuerzo aprende a actuar. Asume que los datos de entrada son tuplas interdependientes, es decir, una secuencia ordenada de datos, organizada como estado-acción-recompensa. Muchas aplicaciones de los algoritmos de aprendizaje por refuerzo pretenden imitar los métodos de aprendizaje biológico del mundo real mediante el refuerzo positivo.

Tenga en cuenta que, aunque los dos no se comparan a menudo en la literatura, el aprendizaje por refuerzo también es distinto del aprendizaje autosupervisado. Este último es una forma de aprendizaje no supervisado que utiliza pseudoetiquetas derivadas de datos de entrenamiento no etiquetados como verdad de base para medir la precisión del modelo. Sin embargo, el aprendizaje por refuerzo no produce pseudoetiquetas ni mide en función de una verdad fundamental: no es un método de clasificación, sino un aprendiz de acciones. Sin embargo, ambos se han combinado con resultados prometedores³.

El aprendizaje por refuerzo consiste esencialmente en la relación entre un agente, el entorno y el objetivo. La literatura formula ampliamente esta relación en términos del proceso de decisión de Markov (MDP).

El agente de aprendizaje por refuerzo aprende sobre un problema al interactuar con su entorno. El entorno proporciona información sobre su estado actual. A continuación, el agente utiliza esa información para determinar qué acciones tomar. Si esa acción obtiene una señal de recompensa del entorno, se anima al agente a repetirla cuando se encuentre en un estado futuro similar. Este proceso se repite para cada nuevo estado a partir de entonces. Con el tiempo, el agente aprende de las recompensas y los castigos para tomar medidas dentro del entorno que cumplan un objetivo específico⁴.

En los procesos de decisión de Markov, el espacio de estados se refiere a toda la información proporcionada por el estado de un entorno. El espacio de acción denota todas las acciones posibles que el agente puede realizar dentro de un estado⁵.

Dado que un agente de RL no tiene datos de entrada etiquetados manualmente que guíen su comportamiento, debe explorar su entorno, intentando nuevas acciones para descubrir las que reciben recompensas. A partir de estas señales de recompensa, el agente aprende a preferir acciones por las que fue recompensado para maximizar su ganancia. Pero el agente también debe seguir explorando nuevos estados y acciones. Al hacerlo, puede luego utilizar esa experiencia para mejorar su toma de decisiones.

Por tanto, los algoritmos de RL requieren que un agente explote el conocimiento de estados-acciones previamente recompensados y explore otros estados-acciones. El agente no puede dedicarse en exclusiva a la exploración o explotación. Debe probar continuamente nuevas acciones y, al mismo tiempo, preferir acciones únicas (o cadenas de) que produzcan la mayor recompensa acumulativa⁶.

Más allá del triunvirato agente-entorno-objetivo, cuatro subelementos principales caracterizan los problemas de aprendizaje por refuerzo.

- Política. Esto define el comportamiento del agente de RL mapeando los estados ambientales percibidos a acciones específicas que el agente debe tomar cuando se encuentra en esos estados. Puede adoptar la forma de una función rudimentaria o de un proceso computacional más complejo. Por ejemplo, una política que guíe un vehículo autónomo puede asignar la detección de peatones a una acción de parada.

- Señal de recompensa. Designa el objetivo del problema de RL. Cada una de las acciones del agente RL recibe o no una recompensa del entorno. El único objetivo del agente es maximizar sus recompensas acumulativas del entorno. Para los vehículos autónomos, la señal de recompensa puede ser reducir el tiempo de viaje, disminuir las colisiones, permanecer en la carretera y en el carril adecuado, evitar aceleraciones extremas, etc. Este ejemplo muestra que RL puede incorporar múltiples señales de recompensa para guiar a un agente.

- Función de valor. La señal de recompensa difiere de la función de valor en que la primera denota un beneficio inmediato, mientras que la segunda especifica un beneficio a largo plazo. El valor se refiere a la conveniencia de un estado por todos los estados (con sus recompensas) que probablemente le sigan. Un vehículo autónomo puede reducir el tiempo de viaje si se sale de su carril, circula por el arcén y acelera rápidamente, pero estas tres últimas acciones pueden reducir su función de valor global. Por lo tanto, el vehículo como agente de RL puede intercambiar un tiempo de viaje marginalmente más largo para aumentar su recompensa en las últimas tres áreas.

- Modelo. Este es un subelemento opcional de los sistemas de aprendizaje por refuerzo. Los modelos permiten a los agentes predecir el comportamiento del entorno para posibles acciones. A continuación, los agentes utilizan las predicciones del modelo para determinar posibles líneas de actuación en función de los resultados potenciales. Este puede ser el modelo que guíe al vehículo autónomo y le ayude a predecir las mejores rutas, qué esperar de los vehículos circundantes dada su posición y velocidad, etc.⁷ Algunos enfoques basados en modelos utilizan el feedback humano directo en el aprendizaje inicial y luego pasan al aprendizaje autónomo.

Hay dos métodos generales por los que un agente recopila datos para políticas de aprendizaje:

- En línea. En este caso, un agente recopila datos directamente al interactuar con el entorno que lo rodea. Estos datos se procesan y recopilan de forma iterativa a medida que el agente sigue interactuando con ese entorno.

- Sin conexión. Cuando un agente no tiene acceso directo a un entorno, puede aprender a través de los datos registrados de ese entorno. Esto se conoce como aprendizaje sin conexión. Un gran subconjunto de investigaciones se ha volcado en el aprendizaje sin conexión debido a las dificultades prácticas para entrenar modelos a través de la interacción directa con los entornos⁸.

El aprendizaje por refuerzo es un área de investigación vibrante y en curso, y como tal, los desarrolladores han producido una miríada de enfoques para el aprendizaje por refuerzo. No obstante, tres métodos de aprendizaje por refuerzo muy debatidos y fundamentales son la programación dinámica, el monte carlo y el aprendizaje por diferencia temporal.

La programación dinámica descompone las tareas más grandes en tareas más pequeñas. Así, modela los problemas como flujos de trabajo de decisiones secuenciales tomadas en pasos temporales discretos. Cada decisión se toma en función del posible siguiente estado resultante. La recompensa de un agente (r) por una acción determinada se define en función de esa acción (a), de los estados ambientales actualess y de los posibles siguientes estados s':

Esta función de recompensa se puede utilizar como (parte de) la política que rige las acciones de un agente. Determinar la política óptima para el comportamiento de los agentes es un componente principal de los métodos de programación dinámica para el aprendizaje por refuerzo. Introduzca la ecuación de Bellman.

La ecuación de Bellman es

En resumen, esta ecuación define v_t(s) como la recompensa total esperada desde el momento t hasta el final de un flujo de trabajo de decisión. Supone que el agente comienza ocupando el estado s en el tiempo t. En última instancia, la ecuación divide la recompensa en el momento t en la recompensa inmediata r_t(s,a) (es decir, la fórmula de recompensa) y la recompensa total esperada del agente. De este modo, un agente maximiza su función de valor (que es el valor total de la ecuación de Bellman) al elegir sistemáticamente la acción que recibe una señal de recompensa en cada estado⁹.

La programación dinámica se basa en modelos, lo que significa que construye un modelo de su entorno para percibir las recompensas, identificar patrones y navegar por el entorno. Sin embargo, Montecarlo asume un entorno de caja negra, por lo que no tiene modelos.

Mientras que la programación dinámica predice posibles estados futuros y señales de recompensa en la toma de decisiones, los métodos de Montecarlo se basan exclusivamente en la experiencia, lo que significa que muestrean secuencias de estados, acciones y recompensas únicamente a través de la interacción con el entorno. Así pues, los métodos de Montecarlo aprenden mediante ensayo y error en lugar de mediante distribuciones probabilísticas.

Montecarlo se diferencia aún más de la programación dinámica en la determinación de funciones de valor. La programación dinámica busca la mayor recompensa acumulada mediante la selección sistemática de acciones recompensadas en estados sucesivos. Montecarlo, por el contrario, calcula la media de los rendimientos de cada par estado-acción. Esto, a su vez, significa que el método de Montecarlo debe esperar a que se hayan completado todas las acciones de un episodio (u horizonte de planificación) determinado antes de calcular su función de valores y, a continuación, actualizar su política¹⁰.

La literatura describe ampliamente el aprendizaje por diferencias temporales (DT) como una combinación de programación dinámica y Montecarlo. Como en el primer caso, DT actualiza su política y, por lo tanto, las estimaciones para los estados futuros, después de cada paso sin esperar al valor final. Sin embargo, al igual que en Montecarlo, DT aprende a través de la interacción bruta con su entorno en lugar de utilizar un modelo del mismo¹¹.

Según su nombre, el agente de aprendizaje DT revisa su política en función de la diferencia entre las recompensas previstas y las reales recibidas en cada estado. Es decir, mientras que la programación dinámica y Montecarlo solo consideran la recompensa recibida, DT sopesa aún más la diferencia entre su expectativa y la recompensa recibida. Con esta diferencia, el agente actualiza sus estimaciones para el siguiente paso sin esperar al horizonte de planificación de eventos, en contra de Monte carlo¹².

El modelo DT tiene muchas variantes. Dos destacadas son estado–acción–recompensa–estado–acción (SARSA) y el aprendizaje Q. El SARSA es un método de DT basado en la política, lo que significa que evalúa e intenta mejorar su política de gobierno de toma de decisiones. El Q-learning no se ajusta a la política. Los métodos que no se ajustan a la política son aquellos que utilizan dos políticas: una para la explotación (política objetivo) y otra para la exploración para generar comportamiento (política de comportamiento)¹³.

Existe una gran cantidad de métodos adicionales de aprendizaje por refuerzo. La programación dinámica es un método basado en valores, lo que significa que selecciona las acciones en función de sus valores estimados según una política que pretende maximizar su función de valor. Por el contrario, los métodos de gradiente de políticas aprenden una política parametrizada que puede seleccionar acciones sin consultar una función de valor. Estas se denominan basadas en políticas y se consideran más efectivas en entornos de alta dimensión¹⁴.

Los métodos actor-crítico se basan tanto en los valores como en las políticas. El llamado "actor" es un gradiente de políticas que determina qué acciones tomar, mientras que el "crítico" es una función de valor para evaluar acciones. Los métodos actor-crítico son, en esencia, una forma de DT. En concreto, el actor-crítico evalúa el valor de una acción determinada basándose no solo en su propia recompensa, sino en el posible valor del siguiente estado, que suma a la recompensa de la acción. La ventaja del actor-crítico es que, debido a la implementación de una función de valor y una política en la toma de decisiones, requiere efectivamente menos interacción con el entorno¹⁵.