O que é regularização?

A regularização engloba uma série de técnicas para corrigir o overfitting em modelos de aprendizado de máquina. Dessa forma, a regularização é um método para aumentar a generalização de um modelo — ou seja, sua capacidade de produzir previsões precisas em novos conjuntos de dados.¹ A regularização fornece essa maior generalização em detrimento de um aumento no erro de treinamento. Em outras palavras, os métodos de regularização normalmente levam a previsões menos precisas nos dados de treinamento, mas a previsões mais precisas nos dados de teste.

A regularização difere da otimização. Essencialmente, a regularização aumenta a generalização do modelo, enquanto a otimização aumenta a precisão do treinamento do modelo. Ambos são conceitos importantes em aprendizado de máquina e ciência de dados.

Existem muitas formas de regularização. Qualquer coisa que se aproxime de um guia completo requer um tratamento muito mais longo, do tamanho de um livro. No entanto, este artigo fornece uma visão geral da teoria necessária para entender o propósito da regularização no aprendizado de máquina, bem como uma pesquisa de várias técnicas populares de regularização.

Essa concessão de aumento do erro de treinamento em troca da diminuição do erro de teste é conhecida como dilema entre viés e variância. O dilema entre viés e variância é um problema bem conhecido no aprendizado de máquina. É necessário primeiro definir "viés" e "variância". Resumindo:

• O viés mede a diferença média entre os valores previstos e os valores reais. À medida que o viés aumenta, um modelo prevê com menos precisão em um conjunto de dados de treinamento. Alto viés refere-se a alto erro no treinamento.
  
  
• A variância mede a diferença entre as previsões em várias realizações de um determinado modelo. À medida que a variância aumenta, um modelo prevê com menos precisão em dados não vistos. Alta variância se refere a alto erro durante os testes e a validação.

Viés e variância, portanto, representam inversamente a precisão do modelo nos conjuntos de treinamento e teste, respectivamente.² Obviamente, os desenvolvedores visam reduzir tanto o viés quanto a variância do modelo. A redução simultânea em ambos nem sempre é possível, resultando na necessidade de regularização. A regularização diminui a variância do modelo ao custo de aumento do viés.

Ao aumentar o viés e diminuir a variância, a regularização resolve o overfitting do modelo. O overfitting ocorre quando o erro nos dados de treinamento diminui, enquanto o erro nos dados de teste para de diminuir ou começa a aumentar.³ Em outras palavras, o overfitting descreve modelos com baixo viés e alta variância. No entanto, se a regularização introduzir muito viés, o modelo terá underfitting.

Apesar do nome, o underfitting não denota o oposto do overfitting. Em vez disso, o underfitting descreve modelos caracterizados por alto viés e alta variância. Um modelo com underfitting produz previsões errôneas insatisfatórias durante o treinamento e o teste. Isso geralmente resulta de dados ou parâmetros de treinamento insuficientes.

A regularização, no entanto, também pode levar ao underfitting do modelo. Se muito viés for introduzido pela regularização, a variância do modelo pode deixar de diminuir e até aumentar. A regularização pode ter esse efeito particularmente em modelos simples, ou seja, modelos com poucos parâmetros. Ao determinar o tipo e o grau de regularização a ser implementado, deve-se considerar a complexidade do modelo, o conjunto de dados e assim por diante.⁴

A regressão linear e a regressão logística são modelos preditivos que sustentam o aprendizado de máquina. A regressão linear (ou mínimos quadrados ordinários) tem como objetivo medir e prever o impacto de um ou mais preditores em uma determinada saída, ao encontrar a linha de melhor ajuste nos pontos de dados fornecidos (ou seja, dados de treinamento). A regressão logística visa determinar as probabilidades de classes por meio de uma produção binária, dada uma variedade de preditores. Em outras palavras, a regressão linear faz previsões quantitativas contínuas, enquanto a regressão logística produz previsões categóricas discretas.⁵

É claro que, à medida que o número de preditores aumenta em qualquer modelo de regression, a relação entrada-saída nem sempre é direta e requer manipulação da fórmula de regression. Entra a regularização. Existem três formas principais de regularização para modelos de regression. Observe que esta lista é apenas uma breve pesquisa. A aplicação dessas técnicas de regularização na regression linear ou logística varia minimamente.

• A regressão de Lasso (ou regularização L1) é uma técnica de regularização que penaliza coeficientes de alto valor e correlacionados. Ela introduz um termo de regularização (também chamado de termo de penalidade) na função de perda de soma dos erros quadrados (SSE) do modelo. Esse termo de penalidade é o valor absoluto da soma dos coeficientes. Controlado por sua vez pelo hiperparâmetro lambda (λ), ele reduz os pesos de recursos selecionados para zero. A regression de Lasso, portanto, remove completamente as funcionalidades multicolineares do modelo.
  
  
• A regressão de Ridge (ou regularização L2) é uma técnica de regularização que penaliza de forma semelhante coeficientes de alto valor, ao introduzir um termo de penalidade na função de perda SSE. No entanto, ela difere da regressão de Lasso. Primeiro, o termo de penalidade na regressão de Ridge é a soma quadrada dos coeficientes, em vez do valor absoluto dos coeficientes. Segundo, a regressão de Ridge não realiza seleção de funcionalidades. Enquanto o termo de penalidade da regressão de Lasso pode remover funcionalidades do modelo ao reduzir os valores dos coeficientes para zero, a regressão de Ridge apenas reduz os pesos das funcionalidades em direção a zero, mas nunca para zero.
  
  
• A regularização de rede elástica essencialmente combina as regressões de Ridge e Lasso, mas inserindo os termos de penalidade L1 e L2 na função de perda SSE. L2 e L1 derivam seu valor de termo de penalidade, respectivamente, elevando ao quadrado ou tomando o valor absoluto da soma dos pesos das funcionalidades. A rede elástica insere ambos os valores de penalidade na equação da função de custo (SSE). Dessa forma, a rede elástica lida com a multicolinearidade e também permite a seleção de funcionalidades.⁶

Em estatística, esses métodos também são chamados de "encolhimento de coeficientes", pois reduzem os valores dos coeficientes preditores no modelo preditivo. Em todas as três técnicas, a força do termo de penalidade é controlada por lambda, que pode ser calculado usando várias técnicas de validação cruzada.

O aumento de dados é uma técnica de regularização que modifica os dados de treinamento do modelo. Ele expande o tamanho do conjunto de treinamento ao criar amostras de dados artificiais derivadas de dados de treinamento preexistentes. Adicionar mais amostras ao conjunto de treinamento, particularmente de instâncias raras em dados do mundo real, expõe um modelo a uma maior quantidade e diversidade de dados dos quais ele aprende. A pesquisa em aprendizado de máquina explorou recentemente o aumento de dados para classificadores, particularmente como um meio de resolver conjuntos de dados desequilibrados.⁷ Entretanto, o aumento de dados difere dos dados sintéticos. Este último envolve a criação de novos dados artificiais, enquanto o primeiro produz duplicatas modificadas de dados preexistentes para diversificar e ampliar o conjunto de dados.

A parada antecipada é talvez a técnica de regularização mais facilmente implementada. Em resumo, ela limita o número de iterações durante o treinamento do modelo. Aqui, um modelo passa continuamente pelos dados de treinamento, parando quando não há mais melhoria (e talvez até deterioração) na precisão do treinamento e da validação. O objetivo é treinar um modelo até que ele atinja o menor erro de treinamento possível antes de um platô ou aumento no erro de validação.⁸

Muitos pacotes Python de aprendizado de máquina fornecem opções de comando de treinamento para parada antecipada. Na verdade, em alguns, a parada antecipada é uma configuração padrão de treinamento.

As redes neurais são modelos complexos de aprendizado de máquina que impulsionam muitas aplicações e serviços de inteligência artificial. As redes neurais são compostas por uma camada de entrada, uma ou mais camadas ocultas e uma camada de saída, sendo cada camada, por sua vez, composta por vários nós.

O dropout regulariza as redes neurais, ao descartar aleatoriamente nós, juntamente com suas conexões de entrada e saída, da rede durante o treinamento. O dropout treina várias variações de uma arquitetura de tamanho fixo, com cada variação tendo diferentes nós aleatórios deixados de fora da arquitetura. Uma única rede neural sem dropout é usada para testes, empregando um método de média aproximada derivado das arquiteturas de treinamento modificadas aleatoriamente. Dessa forma, o dropout se aproxima do treinamento de uma grande quantidade de redes neurais com uma infinidade de arquiteturas diversificadas.⁹

O decaimento de peso é outra forma de regularização usada para redes neurais profundas. Ele reduz a soma dos pesos quadrados da rede por meio de um parâmetro de regularização, muito parecido com a regularização L2 em modelos lineares.¹⁰ Mas quando empregada em redes neurais, essa redução tem um efeito semelhante à regularização L1: pesos de neurônios selecionados diminuem para zero.¹¹ Isso efetivamente remove nós da rede, reduzindo a complexidade da rede por meio da dispersão.¹²

Embora o decaimento de peso possa parecer superficialmente semelhante ao dropout em redes neurais profundas, as duas técnicas diferem. Uma diferença primária é que, no dropout, o valor da penalidade cresce exponencialmente na profundidade da rede em alguns casos, enquanto o valor da penalidade do decaimento de peso cresce linearmente. Alguns acreditam que isso permite que o dropout penalize a complexidade da rede de forma mais significativa do que o decaimento de peso.¹³

Muitos artigos e tutoriais online confundem incorretamente a regularização L2 e o decaimento de peso. De fato, os estudos são inconsistentes — alguns distinguem entre L2 e decaimento de peso,¹⁴ alguns os igualam,¹⁵ enquanto outros são inconsistentes na descrição da relação entre eles.¹⁶ Resolver essas inconsistências na terminologia é uma área necessária, mas negligenciada, para estudos futuros.