O que é ETL (extrair, transformar, carregar)?

Os pipelines de dados de ETL fornecem a base para a análise de dados e fluxos de trabalho de aprendizado de máquina. Por meio de uma série de business rules, o ETL limpa e organiza os dados para atender a necessidades específicas de business intelligence, como a geração de relatórios mensais. Ele também pode lidar com análises mais avançadas, que podem melhorar os processos de back-end e as experiências do usuário final. Os pipelines de ETL são frequentemente usados por organizações para:

• Extrair dados de sistemas legados

• Limpe os dados para melhorar a qualidade de dados e estabelecer consistência

• Carregar dados em um banco de dados de destino

As empresas geram dados desde a era do ábaco, mas a análise de dados moderna só se tornou possível com a chegada do computador digital e do armazenamento de dados.

Um grande passo à frente chegou na década de 1970, com uma mudança para bancos de dados centralizados maiores. Então, o ETL foi lançado como um processo para integração e carregamento de dados para computação e análise, tornando-se eventualmente o método principal para processar dados para projetos de data warehousing.

No final da década de 1980, os data warehouses e a migração de bancos de dados transacionais para bancos de dados relacionais, que armazenavam as informações em formatos de dados relacionais, ganharam popularidade. Os bancos de dados transacionais mais antigos armazenavam informações transação por transação, com informações duplicadas do cliente armazenadas em cada transação, de modo que não havia uma maneira fácil de acessar os dados do cliente de forma unificada ao longo do tempo. Com os bancos de dados relacionais, a análise de dados tornou-se a base do business intelligence (BI) e uma ferramenta importante para a tomada de decisão.

Até a chegada de software de ETL mais sofisticado, as primeiras tentativas eram, em grande parte, esforços manuais da equipe de TI para extrair dados de vários sistemas e conectores. Em seguida, transformavam os dados em um formato comum e os carregavam em tabelas interconectadas. Ainda assim, as etapas iniciais do ETL valeram o esforço, pois algoritmos avançados , além da ascensão de redes neurais, produziram oportunidades cada vez mais profundas para insights analíticos.

A era do big data chegou na década de 1990, quando as velocidades de computação e a capacidade de armazenamento continuaram a crescer rapidamente. Grandes volumes de dados foram então, extraídos de novas fontes, como redes sociais e a Internet das Coisas (IoT). Mas continuou a haver um fator limitante, com dados frequentemente armazenados em data warehouses no local.

O próximo grande passo na computação e no ETL foi a computação em nuvem, que se tornou popular no final da década de 1990. Usando data warehouses como Amazon Web Services (AWS), Microsoft Azure e Snowflake, os dados agora podem ser acessados de todo o mundo. Essas plataformas também podem escalar rapidamente para permitir que as soluções de ETL forneçam insights notavelmente detalhados e vantagens competitivas recém-descobertas.

A evolução mais recente são soluções de ETL por meio de dados em streaming para fornecer insights atualizados a partir de enormes quantidades de dados.

A diferença mais óbvia entre ETL e ELT (extrair, carregar, transformar) é a diferença na ordem das operações. O ELT copia ou exporta os dados das localizações de origem. Em vez de carregá-los para uma área de preparação para transformação, ele carrega os dados brutos diretamente no armazenamento de dados de destino para serem transformados conforme a necessidade.

Embora ambos os processos utilizem vários repositórios de dados, como bancos de dados, data warehouses e data lakes, cada processo tem suas vantagens e desvantagens. O ELT é útil para processar conjuntos de dados não estruturados de alto volume, pois o carregamento pode ocorrer diretamente a partir da fonte. O ELT pode ser mais ideal para gerenciamento de big data porque não requer muito planejamento inicial para extração e armazenamento de dados.

O processo de ETL requer uma definição mais clara no início. Pontos de dados específicos precisam ser identificados para extração, juntamente com quaisquer "chaves" em potencial para integração em sistemas de origem díspares. A fonte dos dados de entrada geralmente é rastreada usando metadados. Mesmo após a conclusão desse trabalho, as business rules para transformações de dados precisam ser construídas.

Esse trabalho geralmente pode ter dependências nos requisitos de dados para um tipo específico de análise de dados, o que determinará o nível de sumarização que os dados precisam ter.

Embora os pipelines de ELT tenham se tornado cada vez mais populares com a adoção de cloud databases, a tecnologia de ELT ainda é um processo em desenvolvimento, o que significa que as melhores práticas ainda estão sendo estabelecidas.

A maneira mais fácil de entender como o ETL funciona é compreender o que acontece em cada etapa do processo.

Durante a extração de dados, os dados brutos são copiados ou exportados das localizações de origem para uma área de preparação. As equipes de gerenciamento de dados podem extrair dados de várias fontes diferentes, que podem ser estruturadas ou não estruturadas. Esses tipos de dados incluem, entre outros:

• SQL servers ou servidores NoSQL
• Sistemas CRM e ERP
• JSON e XML
• Bancos de dados de arquivos simples
• E-mail
• Páginas da web

Na área de preparação, os dados brutos passam por processamento de dados. Aqui, os dados são transformados e consolidados para o caso de uso analítico pretendido. Essa fase do processo de transformação pode incluir:

• Filtragem, limpeza, agregação, eliminação de duplicação, validação e autenticação dos dados.
• Realização de cálculos, traduções ou sumarizações com base nos dados brutos. Esse processo pode incluir a alteração de cabeçalhos de linhas e colunas para consistência, a conversão de moedas ou outras unidades de medida, a edição de strings de texto e muito mais.
• Realização de auditorias para garantir a qualidade e a conformidade dos dados e métricas de computação.
• Remoção, criptografia ou proteção de dados regidos por reguladores setoriais ou governamentais.
• Formatar os dados em tabelas ou tabelas unidas para corresponder ao esquema do armazém de dados de destino.

Nessa última etapa, os dados transformados são migrados da área de preparação para um data warehouse de destino. Normalmente, isso envolve um carregamento inicial de todos os dados, seguida por carregamentos periódicos de mudanças incrementais nos dados e, menos frequentemente, atualizações completas para apagar e substituir os dados no warehouse.

Para a maioria das organizações que utilizam o ETL, o processo é automatizado, bem definido, contínuo e orientado por lotes. Normalmente, o processo de carregar do ETL ocorre fora do horário de expediente, quando o tráfego nos sistemas de origem e no data warehouse é menor.

ETL e ELT são apenas dois métodos de integração de dados, e existem outras abordagens que também são usadas para facilitar os fluxos de trabalho de integração de dados. Alguns desses métodos incluem:

• Captura de dados de alterações (CDC) identifica e captura apenas os dados de origem que foram alterados e move esses dados para o sistema de destino. A CDC pode ser usada para reduzir os recursos necessários durante a etapa de "extrair" do ETL. Também pode ser usada de forma independente para migrar dados que foram transformados em um data lake ou outro repositório em tempo real.
  
  
• A data replication copia as alterações nas fontes de dados em tempo real ou em lotes para um banco de dados central. A data replication é frequentemente listada como um método de integração de dados. Na verdade, ela é usado com mais frequência para criar backups para recuperação de desastres.
  
  
• A virtualização de dados usa uma camada de abstração de software para criar uma visão unificada, integrada e totalmente utilizável dos dados, sem copiar, transformar ou carregar fisicamente os dados de origem em um sistema de destino. As funções de virtualização de dados permitem que uma organização crie data warehouses, data lakes e data marts virtuais a partir dos mesmos dados de origem para armazenamento. Essa abordagem evita as despesas e a complexidade de criar e gerenciar plataformas separadas para cada um. Embora a virtualização de dados possa ser usada em conjunto com o ETL, ela é cada vez mais vista como uma alternativa ao ETL e a outros métodos físicos de integração de dados.
  
  
• A Stream Data Integration (SDI) é exatamente o que parece: consome continuamente fluxos de dados em tempo real, transforma-os e carrega-os em um sistema de destino para análise. A palavra-chave aqui é continuamente. Em vez de integrar instantâneos de dados tirados em um momento específico, a SDI integra dados constantemente. Ele processa informações quando estão disponíveis. A SDI permite um armazenamento de dados para potencializar a análise de dados, o aprendizado de máquina e as aplicações em tempo real para melhorar a experiência do cliente, a detecção de fraude e muito mais.

As soluções de ETL melhoram a qualidade ao realizar a limpeza de dados antes de carregá-los em um repositório diferente. Uma operação em lote que consome tempo, o ETL é recomendado com mais frequência para criar repositórios de dados de destino menores que requerem atualizações menos frequentes. Outros métodos de integração de dados — incluindo ELT (extrair, carregar, transformar), captura de alterações de dados (CDC) e virtualização de dados — são usados para integrar volumes cada vez maiores de dados que são alterados ou fluxos de dados em tempo real.

No passado, as organizações escreviam seu próprio código de ETL. Agora, existem muitas ferramentas de ETL comerciais e de código aberto e serviços baseados em nuvem para você escolher. Os recursos típicos desses produtos incluem:

• Automação abrangente e facilidade de uso:as principais ferramentas de ETL automatizam todo o fluxo de dados, desde as fontes de dados até o data warehouse de destino. Essa automação poupa os engenheiros de dados das tarefas tediosas de migrar e formatar dados, garantindo resultados mais rápidos e operações mais eficientes.
  
  
• Uma interface visual de arrastar e soltar: essa funcionalidade pode ser usada para especificar regras e fluxos de dados.
  
  
• Compatibilidade com gerenciamento de dados complexos: esse recurso inclui assistência com cálculos complexos, integrações de dados e manipulações de strings.
  
  
• Segurança e conformidade: as melhores ferramentas de ETL criptografam dados em movimento e em repouso e são certificadas em conformidade com as regulamentações governamentais ou setoriais, incluindo HIPAA e GDPR.

Além disso, muitas ferramentas de ETL evoluíram para incluir o recurso de ELT e proporcionar compatibilidade com a integração de dados em tempo real e de streaming para aplicações de inteligência artificial (IA).

Uma área de preparação é um local de armazenamento temporário entre fontes de dados e um destino específico (como um data warehouse) que é usada para armazenar temporariamente dados brutos. Ela atua como uma doca de carregamento, onde os dados brutos são limpos, inspecionados e transformados antes de serem migrados para um destino específico.

O carregamento inicial é a extração e carregamento pela primeira vez de dados históricos de uma fonte de dados para um destino. Inclui todo o conjunto de dados e é feito uma vez, no início de um projeto. O carregamento incremental é o processo de carregar apenas dados novos, alterados ou excluídos desde o último carregamento. Esses processos são executados de forma programada.

Este termo é um pouco ambíguo e é usado de duas maneiras diferentes. Dimensões de alterações lentas referem-se a tabelas de dimensões em um data warehouse que são alteradas esporadicamente ao longo do tempo, em vez de em um cronograma fixo. Um exemplo comumente citado é o endereço de um cliente. O termo também é usado para se referir aos métodos e técnicas empregados para lidar com mudanças e rastreá-las nos dados de dimensões ao longo do tempo.

Para lidar com dados duplicados, as organizações devem criar um processo para identificar sistematicamente dados duplicados e seu tipo, regras claras para remover ou mesclar dados duplicados e proteções para evitar entradas futuras.