O que é redução da dimensionalidade?

A redução de dimensionalidade é um método para representar um conjunto de dados usando um número menor de funcionalidades (ou seja, dimensões) enquanto ainda captura as propriedades essenciais dos dados originais.¹ Isso equivale à remoção de funcionalidades irrelevantes, redundantes ou simplesmente ruidosas, criando um modelo com menos variáveis. A redução de dimensionalidade engloba uma variedade de métodos de seleção de características e compressão de dados usados no pré-processamento. Embora os métodos de redução de dimensionalidade operem de formas distintas, todos transformam espaços de alta dimensionalidade em espaços de baixa dimensionalidade por meio da extração ou combinação de variáveis.

No aprendizado de máquina, dimensões (ou funcionalidades) são as variáveis preditoras que determinam a saída de um modelo. Elas também podem ser chamadas de variáveis de input. Dados de alta dimensionalidade referem-se a conjuntos de dados com um grande número de variáveis preditoras. Esses conjuntos de dados aparecem frequentemente em bioestatística, bem como em estudos observacionais nas ciências sociais, onde o número de pontos de dados (isto é, observações) supera o número de variáveis preditoras.

Conjuntos de dados de alta dimensionalidade apresentam várias preocupações práticas para algoritmos de aprendizado de máquina, como aumento do tempo de computação e do espaço de armazenamento para big data. No entanto, o maior problema é, possivelmente, a redução da precisão dos modelos preditivos. Modelos estatísticos e de aprendizado de máquina treinados em conjuntos de dados de alta dimensionalidade muitas vezes apresentam baixa capacidade de generalização.

A maldição da dimensionalidade refere-se à relação inversa entre o aumento das dimensões de um modelo e a redução da capacidade de generalização. À medida que o número de variáveis de input do modelo aumenta, o espaço do modelo também aumenta. Se o número de pontos de dados permanecer o mesmo, entretanto, os dados tornam-se esparsos. Isso significa que a maior parte do espaço do modelo fica vazia, ou seja, sem pontos de dados observáveis. À medida que a esparsidade dos dados aumenta, os pontos tornam-se tão diferentes entre si que os modelos preditivos perdem eficácia na identificação de padrões explicativos.²

Para explicar adequadamente padrões em dados esparsos, os modelos podem superajustar os dados de treinamento. Assim, o aumento da dimensionalidade pode levar a uma baixa capacidade de generalização. A alta dimensionalidade também pode dificultar a interpretabilidade do modelo ao induzir multicolinearidade. À medida que o número de variáveis do modelo aumenta, cresce também a possibilidade de algumas variáveis serem redundantes ou correlacionadas.

Coletar mais dados pode reduzir a esparsidade e, assim, atenuar a maldição da dimensionalidade. No entanto, à medida que o número de dimensões do modelo aumenta, a quantidade de dados necessária para mitigar a maldição da dimensionalidade cresce exponencialmente.³ Como a coleta de dados suficientes nem sempre é viável, a redução de dimensionalidade torna-se essencial para melhorar a análise de dados.

As técnicas de redução de dimensionalidade geralmente reduzem modelos para um espaço de menor dimensão por meio da extração ou combinação de funcionalidades do modelo. Apesar dessa semelhança fundamental, os algoritmos de redução de dimensionalidade variam.

A análise de componentes principais (PCA) é, possivelmente, o método de redução de dimensionalidade mais comum. Trata-se de uma forma de extração de funcionalidades, o que significa que combina e transforma as funcionalidades originais do conjunto de dados para produzir novas características, chamadas componentes principais. Essencialmente, o PCA seleciona um subconjunto de variáveis de um modelo que, juntas, capturam a maior parte ou toda a variância presente no conjunto original de variáveis. O PCA então projeta os dados em um novo espaço definido por esse subconjunto de variáveis.⁴

Por exemplo, imagine um conjunto de dados sobre cobras com cinco variáveis: comprimento do corpo (X₁), diâmetro do corpo no ponto mais largo (X₂), comprimento das presas (X₃), peso (X₄) e idade (X₅). Algumas dessas características podem ser correlacionadas, como comprimento do corpo, diâmetro e peso. Essa redundância pode levar à esparsidade dos dados e ao superajuste, reduzindo a variância (ou a capacidade de generalização) do modelo. O PCA calcula uma nova variável (PC₁) que combina duas ou mais variáveis e maximiza a variância dos dados. Ao combinar variáveis potencialmente redundantes, o PCA também cria um modelo com menos variáveis do que o modelo inicial. Assim, se nosso conjunto de dados começou com cinco variáveis (isto é, cinco dimensões), o modelo reduzido pode ter de uma a quatro variáveis (ou seja, de uma a quatro dimensões). Os dados são então mapeados nesse novo modelo.⁵

Essa nova variável não é nenhuma das cinco originais, mas sim uma característica combinada obtida por meio de uma transformação linear da matriz de covariância dos dados originais. Especificamente, nosso componente principal combinado é o autovetor correspondente ao maior autovalor da matriz de covariância. Também podemos criar componentes principais adicionais combinando outras variáveis. O segundo componente principal é o autovetor do segundo maior autovalor, e assim por diante.⁶

A análise discriminante linear (LDA) é semelhante ao PCA no sentido de que projeta os dados em um novo espaço de menor dimensão, cujas dimensões são derivadas do modelo inicial. No entanto, a LDA difere do PCA ao priorizar a retenção de rótulos de classificação no conjunto de dados. Enquanto o PCA gera novas variáveis componentes para maximizar a variância dos dados, a LDA gera variáveis componentes que também maximizam a diferença entre classes.⁷

As etapas para a implementação da LDA são semelhantes às da PCA. A principal exceção é que a primeira usa a matriz de dispersão, enquanto a segunda usa a matriz de covariância. Por outro lado, assim como na PCA, a LDA computa combinações lineares das funcionalidades originais dos dados que correspondem aos maiores autovalores da matriz de dispersão. Um dos objetivos da LDA é maximizar a diferença interclasses e, ao mesmo tempo, minimizar a diferença intraclasse.⁸

A LDA e o PCA são tipos de algoritmos lineares de redução de dimensionalidade. O t-SNE (t-distributed stochastic neighbor embedding), por outro lado, é uma forma de redução de dimensionalidade não linear (ou aprendizado de variedade). Enquanto LDA e PCA focam principalmente na retenção da distância entre pontos de dados dissimilares em suas representações de menor dimensão, o t-SNE busca preservar a estrutura local dos dados ao reduzir a dimensionalidade do modelo. Outra diferença entre o t-SNE e o LDA/PCA é que estes podem gerar modelos com mais de três dimensões, desde que o número de dimensões seja menor do que o conjunto de dados original. O t-SNE, no entanto, visualiza todos os conjuntos de dados em três ou duas dimensões.

Como método de transformação não linear, o t-SNE não utiliza matrizes de dados. Em vez disso, o t-SNE emprega um kernel Gaussiano para calcular a similaridade entre pares de pontos de dados. Pontos próximos entre si no conjunto de dados original têm uma probabilidade maior de permanecer próximos uns dos outros do que pontos mais distantes. O t-SNE então mapeia todos os pontos de dados em um espaço tridimensional ou bidimensional, tentando preservar os pares de dados.⁹

Existem vários outros métodos de redução de dimensionalidade, como PCA com kernel, análise fatorial, random forests e decomposição em valores singulares (SVD). O PCA, a LDA e o t-SNE estão entre os mais amplamente utilizados e discutidos. Vale destacar que diversos pacotes e bibliotecas, como o scikit-learn, já incluem funções pré-configuradas para a implementação dessas técnicas.

A redução de dimensionalidade tem sido amplamente empregada para visualização de dados.