O que é a regressão ridge?

A regressão de Ridge, também conhecida como regularização L2, é um dos vários tipos de regularizações para modelos de regressão linear. Regularização é um método estatístico para reduzir erros causados por overfitting nos dados de treinamento. Especificamente, a regressão de Ridge corrige a multicolinearidade em análises de regressão. Isso é útil ao desenvolver modelos de aprendizado de máquina que têm um grande número de parâmetros, especialmente quando esses parâmetros têm pesos elevados. Embora este artigo foque na regularização de modelos de regressão linear, observe que a regressão de Ridge também pode ser aplicada em regressão logística.

Uma equação de regressão linear padrão com múltiplas variáveis é:

Aqui, Y é o valor previsto (variável dependente), X é qualquer preditor (variável independente), B é o coeficiente de regressão vinculado àquela variável independente, e X₀ é o valor da variável dependente quando a variável independente é igual a zero (também chamado de intercepto no eixo Y). Note como os coeficientes marcam a relação entre a variável dependente e uma determinada variável independente.

Multicolinearidade ocorre quando dois ou mais preditores têm uma relação quase linear. Montgomery et al. oferecem um exemplo apropriado: imagine que analisamos um conjunto de dados de entrega de uma cadeia de suprimentos, em que as entregas de longa distância contêm regularmente um grande número de itens, enquanto entregas de curta distância contêm sempre inventários menores. Neste caso, a distância da entrega e a quantidade de itens estão linearmente correlacionadas, como mostrado na Figura 1. Isso cria problemas ao usar essas variáveis como independentes em um único modelo preditivo.

Este é apenas um exemplo de multicolinearidade, e sua correção é relativamente simples: coletar dados mais diversificados (por exemplo, dados para entregas de curta distância com grandes estoques). No entanto, coletar mais dados nem sempre é uma solução viável, como quando a multicolinearidade é intrínseca aos dados estudados. Outras opções para corrigir a multicolinearidade incluem aumentar o tamanho da amostra, reduzir o número de variáveis independentes ou simplesmente usar um modelo diferente. No entanto, essas correções nem sempre eliminam a multicolinearidade, e a regressão de Ridge é outro método para regularizar um modelo para lidar com a multicolinearidade.¹

Ao desenvolver modelos preditivos, muitas vezes precisamos calcular coeficientes, já que eles não estão explicitamente disponíveis nos dados de treinamento. Para estimar os coeficientes, podemos usar um estimador de coeficientes de matriz de mínimos quadrados ordinários (OLS) padrão:

Entender o funcionamento dessa fórmula requer familiaridade com a notação matricial. Basta dizer que essa fórmula tem como objetivo encontrar a linha que mais bem se ajusta a um conjunto de dados, ao calcular coeficientes para cada variável independente que resultem no menor somatório residual de quadrados (também chamado de soma dos erros quadráticos).²

O somatório residual de quadrados (RSS) mede o quão bem um modelo de regressão linear se ajusta aos dados de treinamento. Ele é representado pela fórmula:

Essa fórmula mede a precisão das previsões do modelo para os valores reais nos dados de treinamento. Se RSS = 0, o modelo prevê perfeitamente as variáveis dependentes. No entanto, uma pontuação zero nem sempre é desejável, pois pode indicar um overfitting dos dados de treinamento, especialmente se o conjunto de dados de treinamento for pequeno. A multicolinearidade pode ser uma das causas disso.

Estimar coeficientes muito altos pode ser um sintoma de overfitting.³ Se duas ou mais variáveis compartilharem uma alta correlação linear, o OLS pode retornar coeficientes erroneamente altos. Quando um ou mais coeficientes são muito elevados, a saída do modelo torna-se sensível a pequenas alterações nos dados de entrada. Em outras palavras, o modelo teve um overfitting de um conjunto de treinamento específico e não conseguiu generalizar com precisão em novos conjuntos de teste. Um modelo assim é considerado instável.⁴

A regressão de Ridge modifica o OLS ao calcular coeficientes que levam em consideração preditores potencialmente correlacionados. Especificamente, a regressão de Ridge corrige os coeficientes altos ao introduzir um termo de regularização (muitas vezes chamado de termo de penalidade) na função RSS. Esse termo de penalidade é a soma dos quadrados dos coeficientes do modelo.⁵ É representado pela fórmula:

O termo de penalidade L2 é inserido no final da função RSS, resultando em uma nova formulação, o estimador de regressão ridge. Seu efeito no modelo é controlado pelo hiperparâmetro lambda (λ).

Lembre-se de que os coeficientes marcam o efeito de um determinado preditor (ou seja, variável independente) no valor previsto (ou seja, variável dependente). Uma vez inserido na fórmula do RSS, o termo de penalidade L2 contrabalança coeficientes especialmente altos, reduzindo todos os valores dos coeficientes. Em estatística, isso é chamado de "encolhimento de coeficientes". O estimador de Ridge acima calcula novos coeficientes de regressão que reduzem o RSS do modelo. Isso minimiza o efeito de cada preditor e reduz o overfitting nos dados de treinamento.⁶

Note que a regressão de Ridge não reduz todos os coeficientes pelo mesmo valor. Em vez disso, os coeficientes são reduzidos em proporção ao seu tamanho inicial. À medida que λ aumenta, coeficientes de alto valor encolhem em uma taxa maior do que os de baixo valor.⁷ Assim, os coeficientes de alto valor são penalizados mais fortemente do que os de baixo valor.

Observe que a penalidade de L2 diminui os coeficientes em direção a zero, mas nunca ao zero absoluto; embora os pesos das funcionalidades do modelo possam se tornar insignificantemente pequenos, eles nunca são iguais a zero na regressão de Ridge. Reduzir um coeficiente para zero efetivamente remove o preditor emparelhado do modelo. Isso é chamado de seleção de funcionalidades, que é outro meio de corrigir a multicolinearidade.⁸ Como a regressão de Ridge não reduz os coeficientes de regressão a zero, ela não executa a seleção de funcionalidades.⁹ Isso é frequentemente citado como uma desvantagem da regressão de Ridge. Além disso, outra desvantagem frequentemente citada é a incapacidade da regressão de Ridge de separar os efeitos do preditor diante de uma multicolinearidade severa.¹⁰

A regressão Lasso, também chamada de regularização L1, é outra técnica de regularização em modelos de regressão linear. A regularização L1 funciona reduzindo coeficientes a zero, eliminando essencialmente essas variáveis independentes do modelo. Tanto a regressão lasso quanto a de ridge reduzem a complexidade do modelo, mas por meios diferentes. A regressão lasso reduz o número de variáveis independentes que afetam o resultado. A regressão ridge reduz o peso que cada variável independente tem no resultado.

A rede elástica é uma forma adicional de regularização. Enquanto a regressão de Ridge obtém seu parâmetro de regularização a partir da soma dos erros quadráticos e a regressão de Lasso obtém o seu a partir da soma dos valores absolutos dos erros, a rede elástica incorpora ambos os parâmetros de regularização na função de custo de RSS.¹¹

A regressão por componentes principais (PCR) também pode atuar como um procedimento de regularização. Embora a PCR possa resolver a multicolinearidade, ela não o faz impondo uma penalidade na função RSS, como nas regressões de Ridge e Lasso. Em vez disso, a PCR gera combinações lineares de preditores correlacionados para criar um novo modelo de mínimos quadrados.¹²

Em aprendizado de máquina, a regressão ridge ajuda a reduzir o sobreajuste que resulta da complexidade do modelo. A complexidade do modelo pode ser causada por:

• Um modelo com muitos recursos. Recursos são os preditores do modelo e também podem ser chamados de "parâmetros" em aprendizado de máquina. Muitos tutoriais on-line recomendam manter o número de recursos abaixo do número de instâncias nos conjuntos de dados de treinamento. No entanto, isso nem sempre é possível.
• Características que possuem muito peso. O peso de um recurso refere-se ao impacto que um preditor tem no resultado do modelo. Um peso elevado é equivalente a um coeficiente de valor alto.

Modelos mais simples não necessariamente têm melhor desempenho do que modelos complexos. No entanto, um alto grau de complexidade pode prejudicar a capacidade de um modelo de se generalizar para novos dados fora do conjunto de treinamento.

Como a regressão de Ridge não realiza a seleção de funcionalidade, ela não reduz a complexidade do modelo ao eliminar recursos. Mas se um ou mais recursos afetarem muito a saída de um modelo, a regressão de Ridge poderá reduzir pesos (ou seja, coeficientes) de funcionalidades altas em todo o modelo de acordo com o termo de penalidade L2. Isso reduz a complexidade do modelo e ajuda a tornar as previsões menos dependentes de uma ou mais funcionalidades específicas.

Em termos de aprendizado de máquina, a regressão de Ridge adiciona um viés ao modelo para diminuir sua variância. O dilema entre viés e variância é um problema bem conhecido no aprendizado de máquina. Mas, para entender o dilema entre viés e variância, é necessário primeiro conhecer o significado de "viés" e "variância", respectivamente, na pesquisa de aprendizado de máquina.

Resumidamente: o viés mede a diferença média entre os valores previstos e os valores reais; a variância mede a diferença entre as previsões em várias execuções de um modelo. À medida que o viés aumenta, um modelo prevê com menos precisão em um conjunto de dados de treinamento. Por outro lado, conforme a variância aumenta, o modelo se torna menos preciso em outros conjuntos de dados. Portanto, o viés e a variância medem a precisão do modelo nos conjuntos de treinamento e teste, respectivamente. Desenvolvedores naturalmente buscam reduzir tanto o viés quanto a variância do modelo. Entretanto, a redução simultânea de ambos nem sempre é viável, daí a necessidade de técnicas de regularização, como a regressão ridge.

Conforme mencionado, a regularização da regressão de Ridge introduz viés adicional com o objetivo de diminuir a variância. Ou seja, modelos regularizados pela regressão de Ridge produzem previsões menos precisas nos dados de treinamento (maior viés), mas previsões mais precisas nos dados de teste (menor variância). Esse é o dilema entre viés e variância. Por meio da regressão de Ridge, os usuários podem aceitar uma perda de precisão no treinamento (maior viés) para aumentar a capacidade de generalização do modelo (menor variância).¹³ Dessa forma, aumentar o viés pode ajudar a melhorar o desempenho geral do modelo.

A força da penalidade L2 e, assim, o dilema entre viés e variância, é determinada pelo valor de λ na equação da função de perda do estimador de Ridge. Se λ for zero, o modelo será equivalente a uma função de mínimos quadrados ordinários. Isso resulta em um modelo de regressão linear padrão sem regularização. Por outro lado, um valor de λ maior significa mais regularização. Conforme λ aumenta, o viés do modelo aumenta, enquanto a variância diminui. Assim, quando λ é igual a zero, o modelo causa overfitting nos dados de treinamento, mas quando λ é muito alto, o modelo causa underfitting em todos os dados.¹⁴

O erro quadrático médio (MSE) pode ajudar a determinar um valor adequado de λ. O MSE está intimamente relacionado ao RSS e é uma forma de medir a diferença, em média, entre os valores previstos e os valores reais. Quanto menor o MSE do modelo, mais precisas são suas previsões. Mas o MSE aumenta à medida que λ aumenta. No entanto, argumenta-se que sempre existe um valor de λ maior que zero, de modo que o MSE obtido por meio da regressão de Ridge é menor do que o obtido por meio do OLS.¹⁵ Um método para deduzir um valor de λ adequado é encontrar o valor mais alto para λ que não aumenta o MSE, conforme ilustrado na Figura 2. Técnicas adicionais de validação cruzada podem ajudar os usuários a selecionar valores de λ ideais para ajustar seu modelo.¹⁶

Os modelos de regressão de Ridge são mais bem utilizados ao lidar com conjuntos de dados que possuem duas ou mais funcionalidades correlacionadas. Além disso, muitos campos usam a regressão de Ridge para lidar com modelos com um número maior de preditores e conjuntos de dados de treinamento pequenos.¹⁷ Essas situações podem ser bastante comuns quando se lida com uma variedade de dados.

Esses são apenas dois exemplos dentro do campo da ciência de dados. Mas, como esses dois casos ilustram, a regressão ridge é mais eficaz em situações em que você possui mais características no modelo do que amostras de dados, ou quando seu modelo possui duas ou mais características altamente correlacionadas.

Pesquisas recentes exploram uma variante modificada da regressão de Ridge para realizar a seleção de funcionalidades.¹⁸ Essa forma modificada da regressão de Ridge utiliza diferentes parâmetros de regularização em cada coeficiente. Dessa forma, pode-se penalizar individualmente os pesos das funcionalidades, possibilitando, assim, a implementação da seleção de funcionalidades por meio da regressão de Ridge.¹⁹