O que é aprendizagem de reforço?

Um agente autônomo é qualquer sistema que pode tomar decisões e agir em resposta ao seu ambiente, independentemente de instruções diretas de um usuário humano. Robôs e carros autônomos são exemplos de agentes autônomos.

No aprendizado por reforço, um agente autônomo aprende a realizar uma tarefa por tentativa e erro na ausência de qualquer orientação de um usuário humano. ¹ Ele lida particularmente com problemas sequenciais de tomada de decisão em ambientes incertos e é promissor no desenvolvimento de inteligência artificial.

A literatura frequentemente compara o aprendizado por reforço com o aprendizado supervisionado e não supervisionado. O aprendizado supervisionado utiliza dados rotulados manualmente para produzir previsões ou classificações. O aprendizado não supervisionado visa descobrir e aprender padrões ocultos a partir de dados não rotulados. Ao contrário do aprendizado supervisionado, o aprendizado por reforço não usa exemplos rotulados de comportamentos corretos ou incorretos. Mas o aprendizado por reforço também se diferencia do aprendizado não supervisionado ao aprender por tentativa e erro e por meio de uma função de recompensas, em vez de extrair informações de padrões ocultos.²

Os métodos de aprendizado supervisionado e não supervisionado partem do princípio de que cada registro no conjunto de dados é independente dos outros, mas todos seguem o mesmo padrão de distribuição subjacente. Esses métodos são treinados para otimizar a precisão das previsões, que serve como base para medir o desempenho do modelo.

Por outro lado, o aprendizado por reforço aprende a agir. Ele pressupõe que os dados de input sejam tuplas interdependentes, ou seja, uma sequência ordenada de dados organizada como estado-ação-recompensa. Muitas aplicações de algoritmos de aprendizado por reforço visam imitar métodos de aprendizado biológico do mundo real através de reforço positivo.

Observe que, embora os dois não sejam frequentemente comparados na literatura, o aprendizado por reforço também é distinto do aprendizado autossupervisionado . Este último é uma forma de aprendizado não supervisionado que usa pseudo rótulos derivados de dados de treinamento não rotulados como verdade fundamental para medir a precisão do modelo. O aprendizado por reforço, no entanto, não produz pseudo rótulos nem mede em relação a uma verdade fundamental; ele não é um método de classificação, mas um aprendiz de ações. No entanto, os dois foram combinados com resultados promissores.³

O aprendizado por reforço consiste essencialmente na relação entre um agente, ambiente e objetivo. A literatura formula amplamente essa relação em termos do processo de decisão de Markov (MDP).

O agente de aprendizado por reforço aprende sobre um problema ao interagir com seu ambiente. O ambiente fornece informações sobre seu estado atual. Em seguida, o agente usa essas informações para determinar qual(is) ação(ões) adotar. Se essa ação obtiver um sinal de recompensa do ambiente ao redor, o agente é incentivado a adotar essa ação novamente quando estiver em um estado futuro semelhante. Esse processo se repete para cada novo estado subsequente. Com o tempo, o agente aprende com recompensas e punições a adotar ações dentro do ambiente que atendem a um objetivo específico.⁴

Em processos de decisão de Markov, o espaço de estados refere-se a todas as informações fornecidas pelo estado de um ambiente. O espaço de ações denota todas as ações possíveis que o agente pode executar dentro de um estado.⁵

Como um agente de RL não possui dados de input manualmente rotulados para guiar seu comportamento, ele deve explorar seu ambiente, tentando novas ações para descobrir quais recebem recompensas. A partir desses sinais de recompensa, o agente aprende a preferir ações que foram recompensadas para maximizar seu ganho. Mas o agente também deve continuar explorando novos estados e ações. Ao fazer isso, ele pode usar essa experiência para melhorar sua tomada de decisão.

Assim, os algoritmos de RL exigem que um agente explore e aproveite o conhecimento de ações de estado previamente recompensadas. O agente não pode perseguir exclusivamente a exploração ou a invasão. Ele deve tentar continuamente novas ações, ao mesmo tempo em que prefere ações isoladas (ou cadeias de ações) que geram a maior recompensa cumulativa.⁶

Além do trio agente-ambiente-objetivo, quatro subelementos principais caracterizam os problemas de aprendizado por reforço:

- Política. Define o comportamento do agente de RL mapeando estados ambientais percebidos para ações específicas que o agente deve tomar nesses estados. Pode assumir a forma de uma função rudimentar ou de um processo computacional mais complexo. Por exemplo, uma política que orienta um veículo autônomo pode mapear a detecção de pedestres para uma ação de parar.

- Sinal de recompensa. Designa o objetivo do problema de RL. Cada ação do agente de RL recebe ou não uma recompensa do ambiente. O único objetivo do agente é maximizar suas recompensas acumuladas do ambiente. Para veículos autônomos, o sinal de recompensa pode ser a redução do tempo de viagem, diminuição de colisões, permanência na estrada e na faixa correta, evitando desacelerações ou acelerações extremas, entre outros. Esse exemplo mostra que o RL pode incorporar múltiplos sinais de recompensa para guiar um agente.

- Função de valor. O sinal de recompensa difere da função de valor na medida em que o primeiro denota benefício imediato, enquanto o segundo especifica benefício a longo prazo. Valor refere-se à desejabilidade de um estado em relação a todos os estados (com suas recompensas incumbentes) que provavelmente o seguirão. Um veículo autônomo pode reduzir o tempo de viagem saindo de sua faixa, dirigindo na calçada e acelerando rapidamente, mas essas três ações podem reduzir sua função de valor geral. Assim, o veículo como agente de RL pode trocar um tempo de viagem marginalmente maior para aumentar sua recompensa nessas três áreas.

- Modelo. Esse é um subelemento opcional dos sistemas de aprendizado por reforço. Os modelos permitem que agentes prevejam o comportamento do ambiente para possíveis ações. Então, os agentes usam as previsões do modelo para determinar possíveis cursos de ação com base nos resultados potenciais. Esse modelo pode guiar o veículo autônomo, auxiliando na previsão das melhores rotas e na previsão dos comportamentos dos veículos ao redor, considerando sua posição e velocidade, entre outros aspectos.⁷ Algumas abordagens baseadas em modelo usam feedback humano direto no aprendizado inicial e, depois, mudam para o aprendizado autônomo.

Existem dois métodos gerais pelos quais um agente coleta dados para aprender políticas:

- Online. Aqui, um agente coleta dados diretamente interagindo com seu ambiente ao redor. Esses dados são processados e coletados de forma iterativa à medida que o agente continua interagindo com o ambiente.

- Offline. Quando um agente não tem acesso direto a um ambiente, ele pode aprender por meio de dados registrados desse ambiente. Isso é aprendizado offline. Um grande subconjunto de pesquisas tem se voltado para o aprendizado offline devido a dificuldades práticas em treinar modelos por meio de interação direta com ambientes.⁸

O aprendizado por reforço é uma área de pesquisa dinâmica e em constante evolução, e por isso, desenvolvedores têm criado uma infinidade de abordagens para esse tipo de aprendizado. No entanto, três métodos de aprendizado por reforço amplamente discutidos e fundamentais são programação dinâmica, Monte Carlo e aprendizado por diferença temporal.

A programação dinâmica divide tarefas maiores em tarefas menores. Dessa forma, ela organiza os problemas em fluxos de trabalho de sequências de tomada de decisões em pontos específicos no tempo. Cada decisão é tomada em termos do próximo estado possível resultante. A recompensa de um agente (r) para uma determinada ação é definida como uma função dessa ação (a), do estado ambiental atual (s) e do próximo estado potencial (s'):

Essa função de recompensa pode ser usada como parte da política que governa as ações de um agente. Determinar a política ótima para o comportamento do agente é um componente principal dos métodos de programação dinâmica paro aprendizado por reforço. Entra em cena a equação de Bellman.

A equação de Bellman é:

Em resumo, essa equação define v_t(s) como a recompensa total esperada começando no tempo t até o final de um fluxo de trabalho de decisões. Ela assume que o agente começa ocupando o estado s no tempo t. Em última análise, a equação divide a recompensa no tempo t na recompensa imediata r_t(s,a) (ou seja, a fórmula de recompensa) e na recompensa total esperada do agente. Assim, um agente maximiza sua função de valor (sendo o valor total da equação de Bellman), ao escolher consistentemente aquela ação que recebe um sinal de recompensa em cada estado.⁹

A programação dinâmica é baseada em modelo, ou seja, constrói um modelo de seu ambiente para perceber recompensas, identificar padrões e navegar no ambiente. Monte Carlo, no entanto, assume um ambiente de caixa-preta, tornando-o sem modelo.

A programação dinâmica faz previsões sobre estados futuros e recompensas para orientar as decisões, enquanto os métodos de Monte Carlo dependem unicamente da experiência, coletando sequências de estados, ações e recompensas através da interação direta com o ambiente. Assim, os métodos de Monte Carlo aprendem por tentativa e erro, em vez de distribuições probabilísticas.

O Monte Carlo também difere da programação dinâmica na determinação da função de valor. A programação dinâmica busca a maior recompensa cumulativa ao selecionar consistentemente ações recompensadas em estados sucessivos. Por outro lado, o Monte Carlo faz a média dos retornos associados a cada combinação de estado e ação. Isso, por sua vez, significa que o método de Monte Carlo deve esperar até que todas as ações em um dado episódio (ou horizonte de planejamento) sejam concluídas antes de calcular sua função de valor e, então, atualizar sua política.¹⁰

A literatura descreve amplamente o aprendizado por diferença temporal (TD) como uma combinação de programação dinâmica e Monte Carlo. Assim como na programação dinâmica, o TD atualiza sua política e estimativas para estados futuros após cada etapa, sem esperar por um valor final. Assim como no Monte Carlo, o TD aprende por meio de interação direta com seu ambiente, em vez de usar um modelo dele.¹¹

Pelo nome, o agente de aprendizado TD revisa sua política de acordo com a diferença entre as recompensas previstas e as realmente recebidas em cada estado. Ou seja, enquanto a programação dinâmica e o Monte Carlo consideram apenas a recompensa recebida, o TD também pesa a diferença entre sua expectativa e a recompensa recebida. Usando essa diferença, o agente atualiza suas estimativas para a próxima etapa sem esperar até o horizonte de planejamento do evento, ao contrário do Monte Carlo.¹²

O TD tem muitas variações. Duas variações principais são Estado–Ação–Recompensa–Estado–Ação (SARSA) e Q-learning. O SARSA é um método TD on-policy, o que significa que ele avalia e tenta melhorar a política que orienta suas decisões. O Q-learning é off-policy. Métodos off-policy são aqueles que utilizam duas políticas: uma para invasão (política-alvo) e outra para exploração e geração de comportamentos (política comportamental).¹³

Existem inúmeros métodos adicionais de aprendizado por reforço. A programação dinâmica é um método baseado em valor, ou seja, seleciona ações com base em seus valores estimados de acordo com uma política que visa maximizar sua função de valor. Ao contrário, métodos de gradiente de política aprendem uma política parametrizada que pode selecionar ações sem consultar uma função de valor. Estes métodos são conhecidos como baseados em política e são tidos como mais eficientes em ambientes com muitas dimensões.¹⁴

Os métodos de ator-crítico utilizam tanto abordagens baseadas em valor quanto em política. O chamado “ator” é um gradiente de política que determina quais ações tomar, enquanto o “crítico” é uma função de valor para avaliar ações. Métodos de ator-crítico são, essencialmente, uma forma de TD. Mais especificamente, o ator-crítico avalia o valor de uma ação dada não apenas com base em sua própria recompensa, mas no valor possível do estado seguinte, que adiciona à recompensa da ação. A vantagem do ator-crítico é que, devido à sua implementação de uma função de valor e política na tomada de decisões, ele efetivamente requer menos interação com o ambiente.¹⁵