O que é transformação de dados?

Embora os especialistas possam realizar a transformação de dados manualmente, as grandes quantidades de dados necessárias para alimentar as aplicações corporativas modernas normalmente exigem algum nível de automação. As ferramentas e tecnologias implementadas por meio do processo de conversão de dados podem ser simples ou complexas.

Por exemplo, uma transformação de dados pode ser tão simples quanto converter um campo de data (por exemplo: DD/MM/AA) em outro ou dividir uma única coluna do Excel em duas. Mas transformações de dados complexas, que limpam e padronizam dados de várias fontes díspares e consistem em vários fluxos de trabalho, podem envolver habilidades avançadas de ciência de dados.

Essas funções avançadas de engenharia de dados incluem a normalização de dados, que define as relações entre os pontos de dados; e o enriquecimento de dados, que complementa as informações existentes com conjuntos de dados de terceiros.

Na economia global com prioridade digital de hoje, as transformações de dados ajudam as organizações a aproveitar grandes volumes de dados de diferentes fontes para melhorar o serviço, treinar modelos de aprendizado de máquina e implementar análises de big data.

Ao padronizar os conjuntos de dados e prepará-los para o processamento subsequente, a transformação de dados possibilita várias práticas cruciais de dados corporativos. Os motivos comuns para a transformação de dados no mundo dos negócios são:

As transformações de dados geralmente seguem um processo estruturado para produzir dados utilizáveis e valiosos a partir de sua forma bruta. As etapas comuns em um processo de transformação de dados incluem:

Durante o processo de descoberta, os dados de origem são coletados. Esse processo pode incluir a coleta de dados brutos de APIs, um SQL database ou arquivos internos em formatos díspares. Ao identificar e extrair essas informações, os profissionais de dados garantem que as informações coletadas sejam abrangentes e relevantes para sua eventual aplicação. Durante a descoberta, os engenheiros também começam a entender as características e a estrutura dos dados em um processo conhecido como criação de perfis de dados.

A preparação e limpeza de dados exigem a identificação e correção de erros, inconsistências e imprecisões nos dados brutos. Esta etapa garante a confiabilidade e qualidade de dados, removendo duplicatas e valores discrepantes ou manipulando os missing values.

O mapeamento de dados envolve a criação de um esquema ou processo de mapeamento para orientar o processo de transformação. Durante esse processo, os engenheiros de dados definem como os elementos no sistema de origem correspondem a elementos específicos no formato de destino.

Usando uma ferramenta de terceiros ou gerando o código internamente, durante essa etapa, uma organização cria o código que transformará os dados.

Durante essa fase, a transformação real ocorre à medida que o código é aplicado aos dados brutos. Os dados transformados são carregados em seu sistema de destino para análise ou processamento adicional. Os dados transformados e o modelo de dados são então validados para garantir a consistência e a exatidão.

Durante o processo de avaliação, os analistas de dados, engenheiros ou usuários finais avaliam os dados de saída, confirmando se atendem aos requisitos.

ETL (extrair, transformar e carregar) e ELT (extrair, carregar e transformar) são dois processos de transformação de dados usados com frequência que implementam técnicas de pipeline de dados ligeiramente diferentes. Cada um tem vantagens e desvantagens, dependendo do tamanho e da complexidade da transformação.

No processo ETL, um subconjunto predeterminado de dados estruturados é extraído de sua origem, onde é transformado em uma área de preparação ou servidor de processamento secundário antes de ser carregado no seu sistema de destino. O ETL é mais adequado para armazenamento no local e conjuntos de dados menores. No entanto, o ETL pode ser preferível em cenários com necessidades específicas de qualidade e consistência de dados, pois etapas de limpeza e validação de dados mais rigorosas podem ser introduzidas. O ETL também pode ser necessário para proteger dados confidenciais, como informações protegidas pela HIPAA, durante a migração.

No processo ELT, as informações são extraídas de fontes de dados e carregadas no sistema de destino baseado em nuvem, onde são transformadas. Essa abordagem, como aproveita o poder da computação em nuvem, normalmente permite um processamento mais rápido e um gerenciamento de dados mais ágil. Ele também pode ser usado com dados não estruturados, como imagens. Com a vantagem da computação baseada em nuvem e do poder de armazenamento, o processo de ELT se beneficia de uma maior escalabilidade.

Cientistas e engenheiros de dados usam várias técnicas distintas em todo o processo de transformação de dados. As táticas implementadas dependem inteiramente do projeto e do uso pretendido para os dados, embora vários métodos possam ser usados simultaneamente como parte de um processo complexo.

• Limpeza de dados: a limpeza de dados melhora a qualidade dos dados ao retificar os erros e inconsistências, como a eliminação de registros duplicados.

• Agregação de dados: a agregação de dados resume os dados combinando vários registros em um único valor ou conjunto de dados.

• Normalização de dados: a normalização de dados padroniza os dados, trazendo todos os valores para uma escala ou formato comum, como valores numéricos de 1 a 10.

• Codificação de dados: a codificação de dados converte dados categóricos em um formato numérico, facilitando a análise. Por exemplo, a codificação de dados pode atribuir um número único a cada categoria de dados.

• Enriquecimento de dados: o enriquecimento de dados aprimora os dados adicionando informações relevantes de fontes externas, como dados demográficos de terceiros ou metadados relevantes.

• Imputação de dados: a imputação de dados substitui os dados ausentes por valores plausíveis. Por exemplo, ela pode substituir os valores ausentes pelo valor mediano ou médio.

• Divisão de dados: a divisão de dados divide os dados em subconjuntos para diferentes fins. Por exemplo, os engenheiros podem dividir um conjunto de dados para usar um para treinamento e outro para testes em aprendizado de máquina.

• Discretização de dados: na discretização de dados, os dados são convertidos em buckets ou intervalos discretos em um processo às vezes chamado de compartimentalização. Por exemplo, a discretização pode ser usada em um ambiente de saúde para traduzir dados como a idade do paciente em categorias como "bebê" ou "adulto".

• Generalização de dados: a generalização de dados abstrai grandes conjuntos de dados em um formato resumido ou de nível superior, reduzindo os detalhes e facilitando a compreensão dos dados.

• Visualização de dados: a visualização de dados representa os dados graficamente, revelando padrões ou insights que podem não ser imediatamente óbvios.

Embora seja possível realizar uma transformação de dados implementando apenas engenheiros internos, muitos serviços terceirizados ajudam a facilitar o processo de conversão e migração. Alguns dos mais comuns incluem:

• Ferramentas ETL e ELT: ferramentas como Apache NiFi e Informatica facilitam um processo de ETL ou ELT plug-and-play.

• Plataformas de integração de dados: uma série de ferramentas, como o IBM Cloud Pak for Data, oferecem suporte à integração de dados e ao processamento em tempo real.

• Ferramentas de preparação de dados: essas ferramentas são projetadas especificamente para limpeza e transformação de dados antes de uma transformação ou migração de dados.

• Linguagens de programação: linguagens de programação como Python e R, com bibliotecas como os pandas de código aberto, oferecem recursos robustos para transformação de dados.

A transformação de dados é uma etapa crucial no processamento de dados. Ela melhora a capacidade de análise, geração de relatórios, tomada de decisões e armazenamento de uma organização. Os principais benefícios incluem: