Cos'è ELT (Extract, Load, Transform)?

L'ELT è comunemente noto come la controparte dell'integrazione dei dati ETL (o estrazione, trasformazione, caricamento). Tuttavia, a differenza dell'ETL, nelle pipeline ELT la trasformazione dei dati avviene alla fine del processo di integrazione dei dati, anziché al centro. Questo approccio consente un movimento più rapido dei dati dalla sorgente alla destinazione, con la la trasformazione dei dati che avviene all'interno del sistema di destinazione.

Le organizzazioni si affidano all'ELT per gestire un complesso dei dati crescente all'interno degli ambienti cloud. L'ELT consente alle aziende di utilizzare la potenza di calcolo e l'elasticità delle piattaforme cloud per trasformare i propri dati in base alle necessità e su larga scala. Questa flessibilità consente alle aziende di inserire e trasformare dati provenienti da fonti e formati diversi e di mantenere l'accesso ai dati non elaborati per futuri casi d'uso. Consente inoltre loro di sviluppare pipeline con costi iniziali bassi.

Sebbene inizialmente l'ELT fosse un processo basato su batch, può supportare l'integrazione di dati in streaming utilizzando piattaforme di data streaming in tempo reale come Apache Kafka. Tra gli altri strumenti fondamentali dell'ELT figurano le soluzioni di integrazione e trasformazione dei dati, che si integrano con i principali repository di dati.

L'ELT consente alle aziende di memorizzare rapidamente enormi volumi di dati e di utilizzare i vantaggi dell'architettura dei dati cloud-native.

A partire dal 2010 circa, l'ELT è diventato un processo di integrazione fondamentale per almeno due motivi principali:

• aumento nei volumi di dati
• disponibilità del cloud computing

Quando le organizzazioni hanno tentato di gestire un patrimonio di dati di dimensioni senza precedenti, si sono rivolte agli ambienti cloud. Gli ambienti cloud possono offrire uno storage meno costoso e più scalabile rispetto ai server on-premise. In altre parole, sono spesso considerati un archivio ideale per set di dati in crescita e diversificati.

Altrettanto importante, le piattaforme cloud e i data warehouse basati su cloud hanno consentito la trasformazione dei dati su larga scala. Questo modello significava che non era più necessario trasformare i dati nel mezzo di una pipeline di dati, come nelle pipeline ETL tradizionali. I dati possono invece essere trasformati in modo efficiente nel sistema di destinazione: l'approccio ELT.

I data engineer spesso preferiscono l'ELT perché è migliore nella gestione di enormi quantità di dati e può accogliere dati più diversi, inclusi dati semi-strutturati e dati non strutturati, rispetto all'ETL tradizionale.Ci sono anche vantaggi nel mantenere la disponibilità dei dati non elaborati: prima di eseguire le trasformazioni, diversi team e data scientist possono adattare la logica di trasformazione per soddisfare le proprie esigenze specifiche, mantenendo i dati non elaborati per esigenze future, dall'analytics al machine learning.

"Si tratta del tuo caso d'uso e di ciò che stai cercando di ottenere", ha affermato Jamil Spain, Senior Technical Advisor di IBM. "Può avere senso eseguire prima il caricamento e poi entrare in una sandbox e capire di quali dati si dispone. Da lì, puoi lavorare per trasformarli nel formato che desideri."

Storicamente, l'ELT è stato un processo orientato ai batch. Tuttavia, i progressi nell'ingegneria dei dati rendono ora possibile implementare l'ELT con piattaforme di event streaming come Apache Kafka per integrare dati in streaming e supportare il real-time analytics.

"Quando arrivano dati non elaborati, li inserisci in alcuni argomenti di Kafka ed è più simile a un flusso in evoluzione", ha spiegato Spain. "Poi posso scrivere la logica di programmazione per riassumere o fare calcoli... posso analizzare i dati man mano che aumentano."

Sebbene Kafka sia una soluzione open source, soluzioni di livello aziendale come Confluent, un'azienda IBM, possono migliorare le implementazioni Kafka con funzionalità di gestione dei dati avanzate, governance sicura, connettori precostituiti e supporto clienti.

L'ELT consiste di tre fasi principali: estrazione, caricamento e trasformazione. Ognuna di queste tre fasi è spiegata in dettaglio nelle sezioni a seguire.

Durante l'estrazione dei dati, i dati vengono copiati o esportati dalle posizioni di origine. I dati possono essere costituiti da numerosi tipi di dati e provenire praticamente da qualsiasi fonte di dati strutturati o non strutturati, tra cui, a titolo esemplificativo ma non esaustivo:

• SQL e NoSQL server
• Sistemi di customer relationship management (CRM)
• Sistemi di Enterprise Resource Planning (ERP) systems
• API
• E-mail, file di testo e documenti
• File JSON e CSV
• Pagine web

I dati estratti vengono spostati in un'area di data storage, come un data warehouse o un data lake. Durante questa fase si può verificare il trattamento dei dati di una quantità nominale di dati, inclusa una determinata pulizia dei dati, come ad esempio la correzione dei valori mancanti.

In genere, il caricamento avviene durante l'orario di lavoro, quando i consumatori cercano di utilizzare i dati per analisi o insight sensibili al fattore tempo e non hanno il tempo di aspettare i tradizionali processi ETL.

In questa fase, i dati vengono trasformati all'interno dei dati del sistema di destinazione utilizzando strumenti come SQL e Data Build Tool (dbt). Questa fase può comportare:

• Pulizia, deduplicazione, filtraggio, convalida e autenticazione dei dati.

• Esecuzione di calcoli, traduzioni, analisi dei dati o riepiloghi basati sui dati non elaborati. Ciò può includere la modifica delle intestazioni di riga e colonna per coerenza, la conversione di valute o unità di misura, la modifica di stringhe di testo e l'aggiunta o la media dei valori: tutto ciò che è necessario per soddisfare le specifiche esigenze di business intelligence o analisi dell'organizzazione.

• Rimozione, crittografia, occultamento o altra protezione dei dati regolamentati da normative governative o di settore, come il Regolamento generale sulla protezione dei dati (GDPR) dell'Unione Europea e l'Health Insurance Portability and Accountability Act (HIPAA) degli Stati Uniti.

È possibile confondere l'ELT con un processo correlato noto per un'abbreviazione quasi identica. Tuttavia, esistono varie differenze ben precise tra ELT (estrazione, caricamento, trasformazione) e ETL (estrazione, trasformazione, caricamento).

La principale differenza tra i due è l'ordine delle operazioni. A differenza dell'ELT, l'ETL esegue la funzione di trasformazione prima della funzione di caricamento. Le differenze più significative tra i due processi includono:

L'ELT offre diversi vantaggi per gli utenti che integrano il processo nei propri workflow.

• Movimento più rapido dei dati: senza trasformazioni in transito che rallentano il movimento dei dati, i dati arrivano più rapidamente per casi d'uso sensibili al tempo che vanno dagli avvisi di sconto di inventario al trading azionario.

• Maggiore resilienza della pipeline: il disaccoppiamento delle fasi di trasformazione e caricamento garantisce che un errore di codifica o un altro errore nella fase di trasformazione non interrompa la pipeline.

• Dati più diversificati: l'ELT può estrarre e caricare dati provenienti da fonti diverse e in formati diversi.

• Riusabilità dei dati: dal momento che i dati sono memorizzati in forma non elaborata, stakeholder diversi con esigenze diverse possono accedere agli stessi dati e applicarvi la propria logica di trasformazione.

• Maggiore scalabilità: l'ELT utilizza la potenza e le dimensioni dei repository basati su cloud per consentire la trasformazione su larga scala.

• Efficienza dei costi: l'efficienza dei costi può essere ottenuta riducendo i costi iniziali e sfruttando risorse flessibili di cloud computing e storage in base alle necessità.

Nonostante tutti i suoi vantaggi, l'implementazione dell'ELT può comportare una serie di sfide.

In assenza di trasformazioni durante il transito per pulire e organizzare i dati, le aziende potrebbero incontrare problemi di conformità, sicurezza e qualità dei dati non elaborati consegnati ai sistemi di destinazione. I programmi di governance dei dati possono aiutare a risolvere queste problematiche imponendo standard di qualità e conformità dei dati, oltre a pratiche di sicurezza come la crittografia dei dati e i controlli di accesso basati sui ruoli.

Sebbene l'utilizzo di risorse cloud elastiche possa essere conveniente in termini di costi, questi possono comunque aumentare nel tempo con la crescita dei volumi di dati. Utilizzando l'ottimizzazione dei costi del cloud, una pratica che comprende strategie e strumenti per ridurre le spese del cloud, può consentire alle aziende di evitare bollette superiori alle aspettative.

Dal momento che l'ELT è stato progettato per funzionare con una infrastruttura cloud moderna, le aziende che utilizzano sistemi legacy e infrastrutture on-premise in genere trovano l'architettura tradizionale delle pipeline, ovvero le pipeline ETL, una soluzione migliore per le loro esigenze di integrazione dei dati.

L'implementazione di workflow ELT richiede strumenti di integrazione e trasformazione dei dati.

Le principali soluzioni di integrazione dei dati spesso offrono la flessibilità necessaria per supportare sia le pipeline ELT che quelle ETL tradizionali. Altre funzionalità principali includono:

• Un ampio set di connettori per inserire dati da fonti di dati eterogenee
• Integrazione con strumenti di trasformazione e data warehouse
• Integrazione con soluzioni di data streaming
• Opzioni no-code e low-code e progettazione di pipeline assistita dall'AI, che consentono a più utenti di creare pipeline più velocemente
• Observability, qualità, lineage e governance integrate per pipeline più affidabili

Gli strumenti di integrazione dei dati che supportano l'ELT vanno da soluzioni commerciali come IBM DataStage e Fivetran a soluzioni open source come Airbyte.

Lo strumento standard del settore per la trasformazione dei dati è il Data Build Tool (dbt). Le principali attività relative ai dati abilitate da dbt includono:

• Gestione di workflow complessi per la trasformazione dei dati
• Preparazione dei dati per la rendicontazione e l'analisi trasformando i dati non elaborati in un formato strutturato
• Creazione di modelli a più livelli e riutilizzabili che rappresentano le diverse fasi della trasformazione dei dati
• Garantire che le trasformazioni dei dati vengano eseguite nella sequenza corretta e possano integrarsi con un workflow più ampio.

Le aziende spesso utilizzano il dbt per trasformare i dati in data warehouse come Amazon Redshift e Google BigQuery, piattaforme di gestione dei dati come Snowflake e data lakehouse come watsonx.data.

Solitamente l'ELT viene utilizzato in ambienti con grandi volumi di dati o in tempo reale. Ecco alcuni esempi:

L'ELT consente l'inserimento rapido di dati diversi, spesso critici per i workload di AI e machine learning. Dal momento che i dati vengono caricati in forma non elaborata, sono riutilizzabili per costruire e addestrare diversi modelli AI. Secondo un report della Sloan School of Management del MIT, la riutilizzabilità dei dati migliora le prestazioni delle iniziative aziendali basate su AI.

L'ELT consente alle aziende di consolidare i dati dei clienti provenienti da diverse fonti per informare iniziative di segmentazione e personalizzazione. Ad esempio, inserire e analizzare informazioni sulle storie di acquisto dei clienti, sui comportamenti di navigazione e sulle caratteristiche demografiche può aiutare i rivenditori di e-commerce a progettare offerte e sconti su misura.

Le aziende possono utilizzare l'ELT per aggregare i dati in modo efficiente tra i vari sistemi e poi applicare trasformazioni per soddisfare specifici requisiti normativi, il tutto mantenendo gli audit trail e l'accesso ai dati non elaborati originali. Uno studio ha rilevato che i sistemi ELT hybrid cloud possono ridurre del 40% la latenza nella rendicontazione del rischio, finanziario e normativo.

L'ELT supporta l'inserimento di dati provenienti da sensori, dispositivi Internet of Things (IoT) e sistemi di gestione dell'inventario. Questo approccio può fornire analytics che migliorano il percorso di distribuzione e la gestione dell'inventario. Ad esempio, l'analisi dei dati inseriti relativi alle vendite e alla realizzazione degli ordini può aiutare i rivenditori a ottimizzare i livelli di inventario per evitare l'esaurimento delle scorte.