O que é aprendizado contínuo?

O aprendizado incremental permite que os modelos adquiram novos conhecimentos e acompanhem a imprevisibilidade do mundo real, sem esquecer o conhecimento antigo. Dados não estacionários significam que as distribuições de dados não são estáticas. Quando implementado com sucesso, o aprendizado contínuo resulta em modelos que mantêm o conhecimento específico da tarefa e também podem generalizar através de distribuições dinâmicas de dados. 

Os modelos de aprendizado contínuo são projetados para aplicar novos dados de forma adaptativa em ambientes que mudam. Também conhecido como aprendizado ao longo da vida, o aprendizado contínuo é inspirado em conceitos da neurociência relacionados à maneira como os humanos aprendem coisas novas, ao mesmo tempo em que mantêm o que já sabem. Se uma pessoa aprende a andar de skate, ela não esquece imediatamente como andar de bicicleta.

Os sistemas tradicionais de aprendizado de máquina treinam modelos em grandes conjuntos de dados estáticos. O conjunto de dados passa pelo algoritmo do modelo em lotes à medida que o modelo atualiza seus pesos ou parâmetros. O modelo processa todo o conjunto de dados várias vezes, com cada ciclo conhecido como uma época. 

Os desenvolvedores identificam o propósito do modelo de deep learning antecipadamente, montam um conjunto de dados de treinamento para atender ao objetivo de aprendizado e treinam o modelo com esses dados. Em seguida, o modelo é testado, validado e implementado. Fazer o ajuste fino do modelo de aprendizado de máquina com mais dados pode adaptar seu desempenho a novas tarefas. 

Os métodos de aprendizado tradicionais não refletem totalmente o dinamismo do mundo real. O aprendizado supervisionado usa conjuntos de dados estáticos com resultados conhecidos. O aprendizado não supervisionado permite que um modelo classifique os dados por conta própria, mas os dados de treinamento ainda são finitos e imutáveis. O aprendizado por reforço é igualmente seguro e restrito. 

Em contraste com os métodos de aprendizado tradicionais, o aprendizado contínuo tenta aplicar a plasticidade do cérebro humano a redes neurais. A neuroplasticidade é a qualidade do cérebro que permite que ele se adapte, aprendendo sem esquecer os conhecimentos anteriores à medida que enfrenta mudanças nas circunstâncias. 

Alguns tipos de aprendizado contínuo ainda começam com o treinamento em lote offline em várias épocas, semelhante ao treinamento offline tradicional. Aprendizado contínuo online treina os modelos apenas com um fluxo de dados de passagem única. 

O aprendizado contínuo ajuda as redes neurais profundas a otimizar e se adaptar em ambientes dinâmicos. O aprendizado de máquina tradicional exige conjuntos de dados extensivos e fixos, tempo e computação suficientes para treinamento e uma finalidade conhecida para o modelo. Quando um ou mais desses requisitos não são atendidos, o aprendizado contínuo fornece uma alternativa. 

• Mitigação do esquecimento catastrófico

• Pequenos conjuntos de dados de treinamento 

• Alteração de distribuições de dados

• Otimização de recursos 

• Tolerância a ruído 

Quando modelos de deep learning são treinados em novos dados ou novas distribuições, eles podem perder conhecimentos anteriores. Conhecido como esquecimento catastrófico catastrófico, esse fenômeno é consequência de um modelo que causa overfitting de seus parâmetros em novos dados. Os modelos atualizam seus pesos internos a tal ponto que os novos parâmetros não são mais relevantes para o trabalho original do modelo. 

O aprendizado contínuo transmite dados de treinamento de forma incremental por meio do modelo de IA. O modelo é alimentado com uma sequência de pequenos conjuntos de dados, que podem consistir em apenas uma amostra. O aprendizado por transferência (quando um modelo aplica o aprendizado anterior a novas tarefas) ajuda a minimizar a quantidade de novos dados necessários. 

O mundo está em um estado de fluxo constante. Seres humanos e outros animais desenvolveram a capacidade de aprender para ajudá-los a prosperar na adversidade. Por exemplo, se um suprimento de alimento se esgotar, descobrir como comer outra coisa pode garantir a sobrevivência. 

Mas nem todos os animais são tão capazes. Os coalas não conseguem nem mesmo reconhecer sua principal fonte de alimento (as folhas de eucalipto) se as folhas forem removidas de uma árvore e colocadas em uma pilha em um prato. Embora os coalas às vezes comam outras folhas de outras árvores, eles podem conceber os alimentos apenas como “folhas de árvores”. Seus cérebros suaves não podem se desviar dessa expectativa. 

Considere um modelo de computer vision destinado ao uso em carros autônomos. O modelo deve saber reconhecer outros veículos na estrada, mas também pedestres, ciclismo, motocicletas, animais e perigos. Ele deve perceber e se adaptar perfeitamente às mudanças no clima e nos padrões de tráfego, como uma chuva repentina ou se um veículo de emergência estiver se aproximando com suas luzes e sirene ligadas. 

Os idiomas mudam com o tempo. Um modelo de processamento de linguagem natural (NLP) deve ser capaz de processar mudanças no que as palavras significam e em como elas são usadas. Da mesma forma, um modelo projetado para robótica deve ser capaz de se adaptar se o ambiente do robô mudar. 

Os modelos de IA consomem muitos recursos. O treinamento deles pode custar milhões de dólares e consumir grandes quantidades de eletricidade e água. Nem sempre é possível implementar novos modelos sempre que surgem novas tarefas. Também não é computacionalmente viável preservar todas as tarefas anteriores na memória disponível de um modelo. 

O aprendizado contínuo permite que grandes modelos de linguagem (LLMs) e outras redes neurais se adaptem a casos de uso em constante mudança, sem esquecer como lidar com desafios anteriores. As empresas podem minimizar o número de modelos em operação expandindo os recursos potenciais de cada modelo que utilizam. 

Se bem treinados, os algoritmos de aprendizado contínuo devem ser capazes de identificar com confiança dados relevantes enquanto ignoram ruídos: pontos de dados sem sentido que não refletem com precisão valores do mundo real. O ruído resulta de erros de sinal, erros de medição e erros de entrada e também abrange valores discrepantes. Valores discrepantes são pontos de dados tão diferentes do restante dos dados que são irrelevantes. 

Os desafios de aprendizado contínuo podem ser divididos em categorias, dependendo de como o fluxo de dados está mudando ao longo do tempo¹:

• Aprendizado contínuo incremental por tarefa
   

• Aprendizado contínuo incremental por domínio
   

• Aprendizado contínuo incremental por classe

O aprendizado incremental por tarefa é uma abordagem passo a passo para o aprendizado multitarefa na qual um algoritmo deve aprender a realizar uma série de tarefas diferentes. Deve ficar claro para o algoritmo qual tarefa é esperada dele, seja pelas tarefas sendo suficientemente distintas umas das outras ou rotulando as entradas com a saída apropriada. 

Um exemplo do mundo real de aprendizado incremental por tarefa seria aprender a falar japonês, depois mandarim, depois tcheco e depois espanhol. Geralmente é claro qual idioma o locutor deve usar em um determinado momento. 

Como as tarefas são transmitidas para o modelo em sequência, o desafio é ajudar a garantir que o modelo possa transferir suficientemente o aprendizado de uma para outra. O número total de tarefas também nem sempre é conhecido com antecedência, especialmente com modelos já em implementação. 

A prevenção do esquecimento catastrófico é um fato: fazer com que o modelo aplique o aprendizado por transferência é o objetivo real com metodologias de aprendizado incremental por tarefa. 

O aprendizado incremental por domínio abrange desafios nos quais a distribuição de dados muda, mas o tipo de desafio permanece o mesmo. As condições em torno da tarefa mudaram de alguma forma, mas as possíveis saídas não. Ao contrário do aprendizado incremental por tarefa, o modelo não é necessário para identificar a tarefa específica a ser resolvida. 

Por exemplo, um modelo criado para reconhecimento óptico de caracteres (OCR) precisaria reconhecer vários formatos de documento e estilos de fonte. Não é importante saber como ou por que o ambiente mudou, mas reconhecer que ele mudou e concluir a tarefa independentemente. 

As mudanças na distribuição de dados são um desafio de longa data no aprendizado de máquina porque os modelos são geralmente treinados em um conjunto de dados estático e discreto. Quando as distribuições de dados mudam após a implementação, o aprendizado incremental por domínio pode ajudar os modelos a mitigar perdas de desempenho.

O aprendizado incremental por classe ocorre quando um modelo classificador deve executar uma série de tarefas de classificação com um número crescente de classes de saída. O modelo deve ser capaz de resolver corretamente cada instância e, ao mesmo tempo, recuperar classes encontradas em instâncias anteriores. 

Um modelo treinado para classificar veículos como carros ou caminhões pode posteriormente ser solicitado a identificar ônibus e motocicletas. Espera-se que o modelo mantenha sua compreensão de todas as classes aprendidas ao longo do tempo, não apenas das opções em cada instância. Se treinado em "carros versus caminhões" e posteriormente utilizado em "ônibus versus motocicletas", o modelo também deve determinar com sucesso se um veículo é um carro ou um ônibus. 

O aprendizado incremental por classe de última geração é um dos desafios de aprendizado contínuo mais difíceis porque o surgimento de novas classes pode minar as distinções entre as classes previamente estabelecidas.

O objetivo de todas as técnicas de aprendizado contínuo é equilibrar o dilema da estabilidade-plasticidade: tornar um modelo estável o suficiente para reter o conhecimento aprendido anteriormente, enquanto ainda é flexível o suficiente para cultivar novos conhecimentos. Embora os pesquisadores tenham identificado inúmeras abordagens para o aprendizado contínuo, muitas podem ser atribuídas a uma das três categorias:

• Técnicas de regularização
   

• Técnicas de isolamento de parâmetros
   

• Técnicas de repetição

Regularização é um conjunto de técnicas que restringem a capacidade de um modelo de causar overfitting em novos dados. O modelo não tem permissão para atualizar sua arquitetura durante o treinamento incremental, enquanto técnicas como destilação de conhecimento, onde um modelo maior "ensina" um modelo menor, ajudam a preservar o conhecimento. 

• A consolidação elástica de pesos (EWC) adiciona uma penalidade à função de perda do algoritmo de aprendizado, o que o impede de fazer alterações drásticas nos parâmetros de um modelo. Os algoritmos de otimização usam o gradiente da função de perda como um benchmark para comparar o desempenho do modelo. 

• Inteligência sináptica (SI), que limita as atualizações de parâmetros com base na compreensão cumulativa da importância relativa de cada parâmetro. 

• Aprendizado sem esquecimento (LWF) treina modelos com novos dados de tarefas e mantém o conhecimento antigo preservando as probabilidades de saída de tarefas anteriores.

Os métodos de isolamento de parâmetros alteram uma parte da arquitetura de um modelo para acomodar novas tarefas, enquanto congelam os parâmetros para tarefas anteriores. O modelo se reconstrói para ampliar seus recursos, mas com a ressalva de que alguns parâmetros não podem ser ajustados. O treinamento subsequente é feito apenas nos parâmetros elegíveis para novas tarefas. 

Por exemplo, redes neurais progressivas (PNNs) criam colunas específicas de redes neurais para novas tarefas. Conexões paralelas com outras colunas permitem o aprendizado por transferência e, ao mesmo tempo, evitam que essas colunas sejam alteradas.

As técnicas de repetição envolvem a exposição regular de um modelo durante as ativações de treinamento a amostras de conjuntos de dados de treinamento anteriores. O aprendizado contínuo baseado em repetir salva amostras de dados mais antigos em um buffer de memória e os incorpora em ciclos de treinamento subsequentes. A exposição contínua a dados mais antigos impede que o modelo cause overfitting em novos dados. 

As técnicas de memória são consideravelmente eficazes, mas têm o custo de acesso regular aos dados anteriores, o que requer espaço de armazenamento suficiente. Situações que envolvem o uso de dados pessoais confidenciais também podem evitar problemas na implementação de técnicas de memória. 

A repetição generativa usa um modelo generativo para sintetizar amostras de dados anteriores para alimentar o modelo que está sendo treinado, como um classificador que precisa aprender novas classes sem esquecer as antigas.