Início
Think
Tópicos
Transformação de dados
Publicado: 19 de junho de 2024
Colaboradores: Molly Hayes, Amanda Downie
A transformação de dados é uma parte crítica do processo de integração de dados, no qual os dados brutos são convertidos em um formato ou estrutura unificada. A transformação de dados garante a compatibilidade com os sistemas de destino e melhora a usabilidade e a qualidade dos dados. É um aspecto essencial das práticas de gerenciamento de dados, incluindo a organização de dados, análise de dados e armazenamento de dados.
Embora os especialistas possam realizar a transformação de dados manualmente, as grandes quantidades de dados necessárias para alimentar as aplicações corporativas modernas normalmente exigem algum nível de automação. As ferramentas e tecnologias implementadas por meio do processo de conversão de dados podem ser simples ou complexas.
Por exemplo, uma transformação de dados pode ser tão simples quanto converter um campo de data (por exemplo: DD/MM/AA) em outro ou dividir uma única coluna do Excel em duas. Mas transformações de dados complexas, que limpam e padronizam dados de várias fontes díspares e consistem em vários fluxos de trabalho, podem envolver habilidades avançadas de ciência de dados.
Essas funções avançadas de engenharia de dados incluem a normalização de dados, que define as relações entre os pontos de dados; e o enriquecimento de dados, que complementa as informações existentes com conjuntos de dados de terceiros.
Na economia global com prioridade digital de hoje, as transformações de dados ajudam as organizações a aproveitar grandes volumes de dados de diferentes fontes para melhorar o serviço, treinar modelos de aprendizado de máquina e implementar análises de big data.
Acesse o guia da IBM sobre IA e gerenciamento de dados para saber como fazer o investimento ideal na base de dados certa, aberta e confiável.
Ao padronizar os conjuntos de dados e prepará-los para o processamento subsequente, a transformação de dados possibilita várias práticas cruciais de dados corporativos. Os motivos comuns para a transformação de dados no mundo dos negócios são:
As organizações transformam os dados para uso em aplicações de business intelligence, como dashboards em tempo real e relatórios de previsão, permitindo a tomada de decisões baseada em dados que levam em consideração grandes quantidades de informações.
A transformação de dados prepara os dados para armazenamento e gerenciamento em um data warehouse ou data lake, facilitando consultas e análises eficientes.
Os modelos de aprendizado de máquina exigem dados limpos e organizados. Garantir que os dados sejam confiáveis e estejam no formato correto permite que as organizações os usem para treinar e ajustar ferramentas de inteligência artificial (IA).
Antes de o big data poder ser analisado para business intelligence, pesquisa de mercado ou outras aplicações, ele deve ser agrupado e formatado adequadamente.
A migração de dados de sistemas locais mais antigos para plataformas modernas, como um data warehouse ou data lakehouse na nuvem, geralmente envolve transformações de dados complexas.
As transformações de dados geralmente seguem um processo estruturado para produzir dados utilizáveis e valiosos a partir de sua forma bruta. As etapas comuns em um processo de transformação de dados incluem:
Durante o processo de descoberta, os dados de origem são coletados. Esse processo pode incluir a coleta de dados brutos de APIs, um SQL database ou arquivos internos em formatos díspares. Ao identificar e extrair essas informações, os profissionais de dados garantem que as informações coletadas sejam abrangentes e relevantes para sua eventual aplicação. Durante a descoberta, os engenheiros também começam a entender as características e a estrutura dos dados em um processo conhecido como criação de perfis de dados.
A preparação e limpeza de dados exigem a identificação e correção de erros, inconsistências e imprecisões nos dados brutos. Esta etapa garante a confiabilidade e qualidade dos dados removendo duplicatas e valores discrepantes ou manipulando os valores ausentes.
O mapeamento de dados envolve a criação de um esquema ou processo de mapeamento para orientar o processo de transformação. Durante esse processo, os engenheiros de dados definem como os elementos no sistema de origem correspondem a elementos específicos no formato de destino.
Usando uma ferramenta de terceiros ou gerando o código internamente, durante essa etapa, uma organização cria o código que transformará os dados.
Durante essa fase, a transformação real ocorre à medida que o código é aplicado aos dados brutos. Os dados transformados são carregados em seu sistema de destino para análise ou processamento adicional. Os dados transformados e o modelo de dados são então validados para garantir a consistência e a exatidão.
Durante o processo de revisão, os analistas de dados, engenheiros ou usuários finais revisam os dados de produção, confirmando se atendem aos requisitos.
ETL (extrair, transformar e carregar) e ELT (extrair, carregar e transformar) são dois processos de transformação de dados usados com frequência que implementam técnicas de pipeline de dados ligeiramente diferentes. Cada um tem vantagens e desvantagens, dependendo do tamanho e da complexidade da transformação.
No processo ETL, um subconjunto predeterminado de dados estruturados é extraído de sua origem, onde é transformado em uma área de preparação ou servidor de processamento secundário antes de ser carregado no seu sistema de destino. O ETL é mais adequado para armazenamento no local e conjuntos de dados menores. No entanto, o ETL pode ser preferível em cenários com necessidades específicas de qualidade e consistência de dados, pois etapas de limpeza e validação de dados mais rigorosas podem ser introduzidas. O ETL também pode ser necessário para proteger dados confidenciais, como informações protegidas pela HIPAA, durante a migração.
No processo ELT, as informações são extraídas de fontes de dados e carregadas no sistema de destino baseado em nuvem, onde são transformadas. Essa abordagem, como aproveita o poder da computação em nuvem, normalmente permite um processamento mais rápido e um gerenciamento de dados mais ágil. Ele também pode ser usado com dados não estruturados, como imagens. Com a vantagem da computação baseada em nuvem e do poder de armazenamento, o processo de ELT se beneficia de uma maior escalabilidade.
Cientistas e engenheiros de dados usam várias técnicas distintas em todo o processo de transformação de dados. As táticas implementadas dependem inteiramente do projeto e do uso pretendido para os dados, embora vários métodos possam ser usados simultaneamente como parte de um processo complexo.
- Limpeza de dados: a limpeza de dados melhora a qualidade dos dados ao retificar os erros e inconsistências, como a eliminação de registros duplicados.
- Agregação de dados: a agregação de dados resume os dados combinando vários registros em um único valor ou conjunto de dados.
- Normalização de dados: a normalização de dados padroniza os dados, trazendo todos os valores para uma escala ou formato comum, como valores numéricos de 1 a 10.
- Codificação de dados: a codificação de dados converte dados categóricos em um formato numérico, facilitando a análise. Por exemplo, a codificação de dados pode atribuir um número único a cada categoria de dados.
- Enriquecimento de dados: o enriquecimento de dados aprimora os dados adicionando informações relevantes de fontes externas, como dados demográficos de terceiros ou metadados relevantes.
- Imputação de dados: a imputação de dados substitui os dados ausentes por valores plausíveis. Por exemplo, ela pode substituir os valores ausentes pelo valor mediano ou médio.
- Divisão de dados: a divisão de dados divide os dados em subconjuntos para diferentes fins. Por exemplo, os engenheiros podem dividir um conjunto de dados para usar um para treinamento e outro para testes em aprendizado de máquina.
- Discretização de dados: na discretização de dados, os dados são convertidos em buckets ou intervalos discretos em um processo às vezes chamado de compartimentalização. Por exemplo, a discretização pode ser usada em um ambiente de saúde para traduzir dados como a idade do paciente em categorias como "bebê" ou "adulto".
- Generalização de dados: a generalização de dados abstrai grandes conjuntos de dados em um formato resumido ou de nível superior, reduzindo os detalhes e facilitando a compreensão dos dados.
- Visualização de dados: a visualização de dados representa os dados graficamente, revelando padrões ou insights que podem não ser imediatamente óbvios.
Embora seja possível realizar uma transformação de dados implementando apenas engenheiros internos, muitos serviços terceirizados ajudam a facilitar o processo de conversão e migração. Alguns dos mais comuns incluem:
- Ferramentas ETL e ELT: ferramentas como Apache NiFi e Informatica facilitam um processo ETL ou ELT plug-and-play.
- Plataformas de integração de dados: uma série de ferramentas, como o IBM Cloud Pak for Data, oferecem suporte à integração de dados e ao processamento em tempo real.
- Ferramentas de preparação de dados: essas ferramentas são projetadas especificamente para limpeza e transformação de dados antes de uma transformação ou migração de dados.
- Linguagens de programação: linguagens de programação como Python e R, com bibliotecas como os pandas de código aberto, oferecem recursos robustos para transformação de dados.
A transformação de dados é uma etapa crucial no processamento de dados. Ela melhora a capacidade de análise, geração de relatórios, tomada de decisões e armazenamento de uma organização. Os principais benefícios incluem:
A transformação de dados inclui processos como limpeza de dados, que melhora a qualidade geral de um conjunto de dados. Com melhores dados e arquiteturas de dados bem definidas, as organizações melhoram a eficiência operacional em áreas como gerenciamento de inventário e processamento de pedidos. Dados melhores também melhoram a experiência do cliente, fornecendo uma visão de 360 graus dos consumidores atuais e potenciais.
A transformação de dados padroniza formatos e estruturas de dados, facilitando a integração de informações em um conjunto de dados coesivo. Ao eliminar os silos de dados e unificar as informações de departamentos ou sistemas díspares, a organização elimina as inconsistências e obtém uma visão unificada dos negócios.
Normalmente, os dados transformados são mais organizados e estruturados, o que facilita a criação de visualizações significativas que comunicam insights de forma eficaz. As visualizações ajudam os tomadores de decisão a identificar tendências ou oportunidades e podem apresentar dados cruciais, como pipelines de vendas ou compras, quase em tempo real.
A transformação de dados converte dados complexos ou não estruturados em formatos que são mais fáceis de entender, acessar e analisar. As organizações usam esses dados para criar previsões avançadas de mercado ou identificar áreas de melhoria.
A transformação de dados pode incluir anonimização e criptografia de dados, proteção de informações confidenciais e conformidade com as regulamentações de privacidade. Essa segurança continua sendo fundamental para setores altamente regulamentados, como saúde e finanças, bem como para organizações que operam em vários locais com leis de privacidade variadas.
Os dados transformados costumam ser mais flexíveis e mais simples de otimizar, facilitando a adaptação a novos casos de uso ou o escalonamento do processamento de dados à medida que a quantidade de dados aumenta. Os dados escaláveis garantem que uma organização cresça sem várias reorganizações e implementações de TI dispendiosas.
Desvende o valor dos dados corporativos e crie uma organização baseada em insights que proporcione vantagem para os negócios com a IBM Consulting.
Com a plataforma de DataOps da IBM, as organizações eliminam a distinção entre equipes focadas em dados e no desenvolvimento, aumentando a eficiência em tudo, desde a correção de bugs até a definição de metas.
As soluções de dados e IA da IBM permitem que as organizações usem os dados corporativos para melhorar a resiliência, a confiabilidade e a relação custo-benefício sem sacrificar a segurança ou a qualidade dos dados.
O IBM watsonx.data permite que organizações escalem a IA e as análises com todos os seus dados, onde quer que eles estejam.
As arquiteturas de dados modernas (como a malha de dados) podem ajudar a moldar e unificar uma empresa baseada em dados, orientando a tomada de decisões e aumentando a qualidade da governança e da integração de dados.
Explore por que os dados de alta qualidade são essenciais para o uso bem-sucedido da IA generativa e saiba como os dados corporativos podem impulsionar ganhos de produtividade.
Explore a experiência de avaliação do watsonx.data seguindo Amélia, a engenheira de dados, enquanto ela se conecta às suas fontes de dados externas, acessa e consulta dados e descarrega dados do seu data warehouse para otimização de custos.
Explore recursos de liderança em dados usando este guia, que ajudará você a implementar a estratégia, as tecnologias e a cultura fundamentais para liderar uma organização baseada em dados alimentada por IA.
Explore como a IBM e a National Association of Boards of Pharmacy (NABP) centralizaram um hub digital para aumentar a transparência e preservar a integridade da cadeia de fornecimento de medicamentos.
Explore como a virtualização de dados simplifica a mesclagem de dados de diversas fontes e alimenta o aprendizado de máquina ao eliminar os silos de dados.
Explore como o IBM watsonx.data e a Cogniware unificaram dados de fontes díspares para visualizar conexões e examinar as atividades de indivíduos sob investigação.