O que é Extract, Load, Transform (ELT)?

O ELT é comumente conhecido como um equivalente à integração de dados ETL (ou extrair, transformar, carregar). No entanto, ao contrário do ETL, os pipelines de ELT colocam a transformação de dados no final do processo de integração de dados, não no meio. Essa abordagem permite uma movimentação de dados mais rápida da origem para o destino, com a transformação de dados ocorrendo dentro do sistema de destino.

As organizações estão confiando no ELT enquanto lidam com ambientes de dados crescentes dentro de ambientes de nuvem. O ELT permite que as empresas aproveitem o poder computacional e a elasticidade das plataformas de nuvem para transformar seus dados conforme a necessidade, em escala. Essa flexibilidade permite que as empresas façam ingestão e transformem dados de diversas fontes e formatos e mantenham o acesso a dados brutos para casos de uso futuros. Ele também permite que construam canais com custos iniciais baixos.

Embora o ELT fosse inicialmente um processo baseado em lote, ele é compatível com a integração de dados de streaming usando plataformas de fluxo de dados em tempo real, como o Apache Kafka. Outras ferramentas importantes de ELT incluem integração de dados e soluções de transformação de dados que se integram aos principais repositórios de dados.

O ELT permite que as empresas armazenem grandes volumes de dados rapidamente e aproveitem os benefícios da arquitetura de dados nativa da nuvem.

O ELT tornou-se um processo de integração integral a partir de cerca de 2010 por pelo menos dois motivos principais:

• picos nos volumes de dados
• a disponibilidade da computação em nuvem

À medida que as organizações buscavam gerenciar ambientes de dados sem precedentes, elas recorreram aos ambientes de nuvem. Ambientes de nuvem podem fornecer armazenamento mais barato e mais escalável do que servidores locais. Em outras palavras, geralmente são considerados um armazenamento ideal para conjuntos de dados crescentes e diversificados.

Igualmente importante, plataformas de nuvem e data warehouses baseados na nuvem permitiram a transformação de dados em escala. Esse modelo significou que não era mais necessário que os dados fossem transformados no meio de um pipeline de dados, como nos pipelines de ETL tradicionais. Em vez disso, os dados podem ser transformados de forma eficiente no sistema de destino — a abordagem ELT.

Engenheiros de dados frequentemente preferem o ELT porque ele é melhor para lidar com grandes volumes de dados e pode acomodar dados mais diversos (incluindo dados semiestruturados e dados não estruturados) do que o ETL tradicional. Manter a disponibilidade dos dados brutos também apresenta vantagens: antes de executar as transformações, diferentes equipes e cientistas de dados podem adaptar a lógica de transformação para atender às suas necessidades específicas, mantendo os dados brutos para uso futuro, desde análise de dados até aprendizado de máquina.

"Trata-se do seu caso de uso e do que você está tentando alcançar", disse Jamil Spain, Consultor Técnico Sênior da IBM. “Pode fazer sentido fazer o carregamento primeiro e depois entrar em uma área de testes e descobrir quais dados você tem. A partir daí, você pode trabalhar na transformação para o formato desejado."

Historicamente, o ELT era um processo orientado por lotes. No entanto, avanços na engenharia de dados agora possibilitam a implementação do ELT com plataformas de fluxo de eventos, como o Apache Kafka, para integrar dados de streaming e proporcionar compatibilidade com análise em tempo real.

"Quando os dados brutos chegam, você os coloca em certos tópicos do Kafka, e é mais como um fluxo em evolução", explicou Spain. “Então, posso escrever lógica de programação para resumir ou fazer cálculos... Posso analisar os dados à medida que crescem”.

Embora o Kafka seja uma solução de código aberto, soluções de nível empresarial como a Confluent, an IBM company, podem aprimorar as implementações do Kafka com recursos avançados de gerenciamento de dados, governança segura, conectores criados previamente e suporte ao cliente.

O ELT consiste de três estágios principais: extrair, carregar e transformar. Cada um desses estágios é detalhado nas seções a seguir.

Durante a extração de dados, os dados são copiados ou exportados dos locais de origem. Os dados podem consistir de muitos tipos de dados e vir de praticamente qualquer fonte de dados estruturados ou não estruturados, incluindo, entre outras:

• Servidores SQL e NoSQL
• Sistemas de gerenciamento de relacionamento com o cliente (CRM)
• Sistemas de planejamento de recursos empresariais (ERP)
• APIs
• e-mails, arquivos de texto e documentos;
• Arquivos JSON e CSV
• Páginas da web

Os dados extraídos são movidos para uma área de armazenamento de dados, como um data warehouse ou data lake. Uma quantidade nominal de processamento de dados pode ocorrer durante esse estágio, incluindo alguma limpeza de dados, como lidar com missing values.

Normalmente, o carregamento ocorre durante o horário comercial, quando os consumidores procuram usar os dados para análises ou insights urgentes e não têm tempo para esperar pelos processos tradicionais de ETL.

Nesse estágio, os dados são transformados nos dados do sistema de destino usando ferramentas como SQL e Data Build Tool (dbt). Esse estágio pode envolver:

• Limpeza de dados, eliminação de duplicações, filtragem, validação e autenticação dos dados.

• Realização de cálculos, traduções, análise de dados ou resumos com base nos dados brutos. Isso pode incluir alterar cabeçalhos de linhas e colunas para consistência, converter moedas ou unidades de medida, editar strings de texto e adicionar ou calcular médias de valores — tudo o que for necessário para atender às necessidades específicas de business intelligence ou análise da organização.

• Remoção, criptografia, ocultação ou proteção de dados regulamentados por governos ou setoes, como o Regulamento Geral de Proteção de Dados (RGPD) da União Europeia e a Lei de portabilidade e responsabilidade de planos de saúde (HIPAA) dos EUA.

É possível confundir o ELT com um processo relacionado conhecido por uma abreviação quase idêntica. No entanto, existem várias diferenças distintas entre ELT (extrair, carregar, transformar) e ETL (extrair, transformar, carregar).

A principal diferença entre os dois é a ordem das operações. Ao contrário do ELT, o ETL executa a função de transformar antes de carregar. As diferenças mais significativas entre os dois processos incluem:

O ELT oferece várias vantagens para os usuários que integram o processo a seus fluxos de trabalho.

• Movimento de dados mais rápido: sem transformações em trânsito desacelerando a movimentação de dados, os dados chegam mais rapidamente para casos de uso urgentes, que vão desde alertas de falta de estoque até negociação de ações.

• Maior resiliência do pipeline: o desacoplamento dos estágios de transformar e carregar garante que um erro de programação ou outro erro no estágio de transformar não interrompa o pipeline.

• Dados mais diversificados: o o ELT pode extrair e carregar dados de diversas fontes e em diferentes formatos.

• Reusabilidade de dados:  como os dados são armazenados na forma bruta, diferentes stakeholders com diferentes necessidades podem acessar os mesmos dados e aplicar sua própria lógica de transformação a eles.

• Maior escalabilidade: o ELT aproveita o poder e o tamanho dos repositórios baseados na nuvem para permitir a transformação em escala.

• Eficiência de custos: a eficiência de custos pode ser alcançada por meio de custos iniciais mais baixos e do aproveitamento de recursos flexíveis de computação e armazenamento em nuvem conforme a necessidade.

Apesar de todos os seus benefícios, a implementação do ELT pode ter alguns desafios.

Sem transformações em trânsito para limpar e organizar dados, as empresas podem encontrar preocupações com a qualidade de dados, conformidade e segurança nos dados brutos entregues aos sistemas de destino. Os programas de governança de dados podem ajudar a lidar com essas preocupações, ao impor padrões de qualidade e conformidade de dados, bem como práticas de segurança, como criptografia de dados e controles de acesso baseados em funções.

Embora o uso de recursos de nuvem elástica possa ser econômico, os custos ainda podem aumentar ao longo do tempo à medida que os volumes de dados crescem. O uso da otimização de custos de nuvem (uma prática que consiste em estratégias e ferramentas para ajudar a reduzir as despesas com nuvem) pode permitir que as empresas evitem contas mais altas do que o esperado.

Como o ELT foi projetado para funcionar com uma infraestrutura de nuvem moderna, as empresas que usam infraestrutura no local e sistemas legados normalmente acham a arquitetura de pipelines tradicional (ou seja, os pipelines de ETL) mais adequada às suas necessidades de integração de dados.

A implementação de fluxos de trabalho de ELT requer ferramentas de integração e transformação de dados.

As principais plataformas de integração de dados costumam oferecer flexibilidade para trabalhar tanto com pipelines de ELT quanto com os pipelines tradicionais de ETL. Outros recursos importantes podem incluir:

• um amplo conjunto de conectores para ingerir dados de fontes diversas;
• Integração com ferramentas de transformação e data warehouses
• Integração com soluções de fluxo de dados
• opções no-code e low-code, além do projeto de pipelines assistido por IA, que permitem que mais usuários criem pipelines em menos tempo;
• observabilidade, qualidade, linhagem e governança integradas, que tornam os pipelines mais confiáveis;

As ferramentas de integração de dados compatíveis com o ELT variam de soluções comerciais, como o IBM® DataStage e Fivetran, a soluções de código aberto, como o Airbyte.

A ferramenta padrão do setor para transformação de dados é o Data Build Tool (dbt). As principais tarefas relacionadas a dados habilitadas pelo dbt incluem:

• Gerenciamento de fluxos de trabalho complexos para transformação de dados
• Preparação de dados para relatórios e análises, ao transformar dados brutos em um formato estruturado
• Criação de modelos reutilizáveis em camadas, que representam diferentes estágios da transformação de dados
• Garantia de que as transformações de dados sejam executadas na sequência correta e possam se integrar a fluxos de trabalho de dados maiores.

As empresas frequentemente usam o dbt para transformar dados em data warehouses como o Amazon Redshift e Google BigQuery, plataformas de gerenciamento de dados como o Snowflake e data lakehouses como o watsonx.data.

O ELT é normalmente usado em ambientes de uso de dados de alto volume ou em tempo real. Alguns exemplos:

O ELT permite a ingestão rápida de diversos dados muitas vezes críticos para cargas de trabalho de inteligência artificial e aprendizado de máquina. Como os dados são carregados na forma bruta, eles são reutilizáveis para construir e treinar diferentes modelos de IA. De acordo com um relatório da Sloan School of Management do MIT, a reutilização de dados melhora o desempenho de iniciativas de negócios orientadas por IA.

O ELT permite que as empresas consolidem dados de clientes de diferentes fontes para informar iniciativas de segmentação e personalização. Por exemplo, ingestão e análise de informações sobre históricos de compras, comportamentos de navegação e características demográficas de clientes podem ajudar varejistas de e-commerce a elaborar ofertas e descontos personalizados.

As empresas podem usar o ELT para agregar dados de forma eficiente entre sistemas e, em seguida, aplicar transformações para atender a requisitos regulatórios específicos e, ao mesmo tempo, manter trilhas de auditoria e acesso aos dados brutos originais. Um estudo descobriu que os sistemas de ELT de nuvem híbrida podem reduzir a latência nos relatórios de riscos, finanças e regulamentação em 40%.

O ELT é compatível com a ingestão de dados de sensores, dispositivos da Internet das coisas (IOT) e sistemas de gerenciamento de inventário. Essa abordagem pode informar análises que melhoram o roteamento de entregas e o gerenciamento de inventário. Por exemplo, analisar dados ingeridos sobre vendas e atendimento de pedidos pode ajudar os varejistas a otimizar os níveis de inventário para evitar falta de estoque.