O que é engenharia de funcionalidades?

A engenharia de funcionalidades é o processo de transformar dados brutos em informações relevantes para uso por modelos de aprendizado de máquina. Em outras palavras, a engenharia de funcionalidades é o processo de criação de funcionalidades de modelos preditivos. Uma funcionalidade, também chamada de dimensão, é uma variável de input usada para gerar previsões de modelos. Como o desempenho do modelo depende, em grande parte, da qualidade dos dados usados durante o treinamento, a engenharia de funcionalidades é uma técnica de pré-processamento crucial que requer a seleção dos aspectos mais relevantes dos dados brutos de treinamento, tanto para a tarefa preditiva quanto para o tipo de modelo em consideração.¹

Antes de prosseguir, uma breve observação sobre a terminologia. Muitas fontes usam engenharia de funcionalidades e extração de funcionalidades de forma intercambiável para denotar o processamento da criação de variáveis de modelo.² Às vezes, fontes também utilizam o termo extração de funcionalidades para se referir ao mapeamento de um espaço original de funcionalidades para um espaço de menor dimensão.³ Em contraste, a seleção de funcionalidades é uma forma de redução de dimensionalidade. Especificamente, é o processamento da seleção de um subconjunto de variáveis para criar um novo modelo com o objetivo de reduzir a multicolinearidade e, assim, maximizar a generalização e a otimização do modelo.

Dado que um modelo é tão bom quanto os dados nos quais ele se baseia, os cientistas de dados gastam uma grande parte do tempo na preparação dos dados e na criação de funcionalidades para criar modelos de alta qualidade. Dependendo da complexidade dos dados brutos e do modelo preditivo desejado, a engenharia de funcionalidades pode exigir muitas tentativas e erros.

Algumas fontes e tutoriais on-line dividem a engenharia de funcionalidades em etapas discretas, cujo número e nomes geralmente variam. Essas etapas podem incluir compreensão de funcionalidades, estruturação ou construção, transformação, avaliação, otimização e assim por diante.⁴ Embora essa estratificação possa ser útil para fornecer uma visão geral das tarefas envolvidas na engenharia de funcionalidades, ela sugere que a engenharia de funcionalidades é um processo linear. Na verdade, a engenharia de funcionalidades é um processo iterativo.

A engenharia de funcionalidades depende do contexto. Exige análise de dados e conhecimento de domínio substanciais. Isso ocorre porque a codificação eficaz para funcionalidades pode ser determinada pelo tipo de modelo usado, pela relação entre preditores e saídas, bem como pelo problema que um modelo pretende resolver.⁵ Isso é combinado com o fato de que diferentes tipos de conjuntos de dados, por exemplo, texto versus imagens, podem ser mais adequados para diferentes técnicas de engenharia de funcionalidades.⁶ Assim, pode ser difícil fazer comentários específicos sobre a melhor forma de implementar a engenharia de funcionalidades em um determinado algoritmo de aprendizado de máquina.

Embora não haja um método ou pipeline de engenharia de funcionalidades universalmente preferido, há um punhado de tarefas comuns usadas para criar funcionalidades a partir de diferentes tipos de dados para diferentes modelos. Antes de implementar qualquer uma dessas técnicas, no entanto, é preciso lembrar de realizar uma análise completa dos dados para determinar as funcionalidades relevantes e o número apropriado de funcionalidades para resolver um determinado problema. Além disso, é melhor implementar várias técnicas de limpeza e pré-processamento de dados, como imputação de dados ausentes ou valores ausentes, além de lidar com os valores discrepantes que podem afetar negativamente as previsões do modelo.

A transformação de funcionalidades é o processo de converter um tipo de funcionalidade em outro, de forma mais legível para um modelo específico. Consiste em transformar dados contínuos em categóricos, ou vice-versa.

Binning. Essa técnica transforma essencialmente valores numéricos contínuos em funcionalidades categóricas. Especificamente, o binning compara cada valor com a comunidade de valores ao seu redor e, em seguida, classifica os pontos de dados em um número de bins. Um exemplo rudimentar de categorização é a demografia por idade, na qual idades contínuas são divididas em faixas etárias, por exemplo, 18-25, 25-30 e assim por diante. Depois que os valores foram colocados em bins, é possível suavizar ainda mais os bins por médias, medianas ou limites. A suavização de bins substitui os valores contidos em um bin por valores derivados de bins. Por exemplo, se suavizarmos um bin contendo valores de idade entre 18 e 25 pela média, substituímos cada valor nesse bin pela média dos valores desse bin. O binning cria valores categóricos a partir de valores contínuos. A suavização de bins é uma forma de suavização local destinada a reduzir o ruído nos dados de entrada.⁷

Codificação one-hot. É o inverso do binning: cria funcionalidades numéricas a partir de variáveis categóricas. A codificação one-hot mapeia funcionalidades categóricas para representações binárias, que são usadas para mapear a funcionalidade em uma matriz ou espaço vetorial. A literatura geralmente se refere a essa representação binária como uma variável fictícia. Como a codificação one-hot ignora a ordem, é mais adequada para categorias nominais. Os modelos de bag of words são um exemplo de codificação única frequentemente usada em tarefas de processamento de linguagem natural. Outro exemplo de codificação única é a classificação de filtragem de spam, na qual as categorias spam e não spam são convertidas em 1 e 0, respectivamente.⁸

A extração de funcionalidades é uma técnica para criar um novo espaço dimensional para um modelo, combinando variáveis em novas variáveis substitutas ou para reduzir as dimensões do espaço de funcionalidades do modelo.⁹ Em comparação, a seleção de funcionalidades denota técnicas para selecionar um subconjunto das funcionalidades mais relevantes para representar um modelo. Tanto a extração quanto a seleção de funcionalidades são formas de redução da dimensionalidade e, portanto, adequadas para problemas de regressão com um grande número de funcionalidades e amostras de dados disponíveis limitadas.

Análise de componentes principais. A análise de componentes principais (PCA) é um método comum de extração de funcionalidades que combina e transforma as funcionalidades originais de um conjunto de dados para produzir novas funcionalidades, chamadas de componentes principais. A PCA seleciona um subconjunto de variáveis de um modelo que, juntas, abrangem a maioria ou toda a variância presente no conjunto original de variáveis do modelo. Então, a PCA projeta dados em um novo espaço definido por esse subconjunto de variáveis.¹⁰

Análise discriminante linear. A análise discriminante linear (LDA) é muito semelhante à PCA, pois projeta dados do modelo em um novo espaço de menor dimensão. Como no PCA, as dimensões (ou funcionalidades) desse espaço do modelo são derivadas das funcionalidades do modelo inicial. No entanto, a LDA difere da PCA em sua preocupação em manter os rótulos de classificação no conjunto de dados original. Enquanto a PCA produz novas variáveis de componentes destinadas a maximizar a variância dos dados, a LDA produz variáveis de componentes destinadas principalmente a maximizar a diferença de classe nos dados.¹¹

Certas funcionalidades possuem limites superiores e inferiores intrínsecos aos dados que restringem os valores possíveis, como dados de séries temporais ou idade. No entanto, em muitos casos, as funcionalidades do modelo podem não ter limitações nos valores possíveis, e escalas amplas (definidas pela diferença entre os valores mínimo e máximo de uma funcionalidade) podem impactar negativamente determinados modelos. O escalonamento de funcionalidades (às vezes chamado de normalização de funcionalidades) é uma técnica de padronização que redefine as escalas das funcionalidades para limitar o impacto de valores grandes nos modelos.¹² Enquanto a transformação de funcionalidades altera os dados de um tipo para outro, o escalonamento ajusta os dados em termos de alcance e distribuição, preservando o tipo de dado original.¹³

Escalonamento mín-máx. O escalonamento mín-máx redimensiona todos os valores de uma funcionalidade para que fiquem entre valores mínimos e máximos especificados, geralmente 0 e 1. O valor de cada ponto de dados para a funcionalidade selecionada (representado por x) é calculado em relação aos valores mínimo e máximo decididos da funcionalidade, min(x) e máx(x) respectivamente, o que produz o novo valor da funcionalidade para esse ponto de dados (representado por x̃ ) . O escalonamento mín-máx é calculado usando a fórmula:¹⁴

Dimensionamento do Z-score. A literatura também se refere a isso como padronização e dimensionamento de variância. Enquanto as escalas mín-máx apresentam valores de funcionalidades para se ajustarem aos valores mínimo e máximo designados, o dimensionamento do Z-score redimensiona as funcionalidades de modo que tenham um desvio padrão compartilhado de 1 com uma média de 0. O dimensionamento do Z-score é representado pela fórmula:

Aqui, um determinado valor de recurso (x) é calculado em relação à média do recurso redimensionado e dividido pelo desvio padrão padronizado (representado como sqrt(var(x))). O dimensionamento do Z-score pode ser útil ao implementar métodos de extração de funcionalidades como PCA e LDA, pois esses dois métodos exigem que as funcionalidades compartilhem a mesma escala.¹⁵

Automação. A engenharia automatizada de funcionalidades, de fato, tem sido um campo de pesquisa em andamento há algumas décadas.¹⁶ As bibliotecas Python, como "tsflex" e "featuretools", ajudam a automatizar a extração e a transformação de funcionalidades para dados de séries temporais. Os desenvolvedores continuam a fornecer novos pacotes e algoritmos para automatizar a engenharia de recursos para modelos de regressão linear e outros tipos de dados que aumentam a precisão do modelo.¹⁷ Mais recentemente, a engenharia automatizada de funcionalidades passou a fazer parte de esforços maiores para construir sistemas de aprendizado de máquina automatizado (AutoML), que têm como objetivo tornar o aprendizado de máquina mais acessível para não especialistas.¹⁸

Deep learning. A engenharia de funcionalidades pode ser um processo trabalhoso e demorado, envolvendo uma quantidade significativa de tentativa e erro. O deep learning permite que o usuário especifique um pequeno conjunto de atributos básicos que a arquitetura da rede neural agrega em atributos de nível superior, também chamados de representações.¹⁹ Um exemplo disso é o processamento de imagens e o reconhecimento de padrões em visão computacional, no qual um modelo aprende a identificar objetos semanticamente significativos (por exemplo, carros, pessoas etc.) em termos de conceitos simples (como bordas, contornos etc.) ao concatenar mapas de atributos.²⁰ Estudos recentes, no entanto, combinaram a engenharia de atributos com redes neurais e outras técnicas de deep learning em tarefas de classificação, como detecção de fraudes, com resultados promissores.²¹