Cos'è l'ETL (Extract, Transform, Load)?

La differenza più ovvia tra ETL ed ELT è la differenza nell'ordine delle operazioni. L'ELT copia o esporta i dati dalle posizioni di origine, ma invece di caricarli in un'area di staging per la trasformazione, carica i dati non elaborati direttamente nello storage dei dati di destinazione per trasformali in base alle esigenze.

Sebbene entrambi i processi utilizzino una varietà di repository di dati, come database, data warehouse e data lake, ciascun processo presenta vantaggi e svantaggi. L'ELT è particolarmente utile per i set di dati non strutturati ad alto volume, poiché il caricamento può avvenire direttamente dall'origine. L'ELT può essere più ideale per la gestione dei big data poiché non richiede molta pianificazione iniziale per l'estrazione e lo storage dei dati.

Il processo ETL, d'altro canto, richiede una maggiore definizione all'inizio. È necessario identificare punti dati specifici per l'estrazione insieme a eventuali "chiavi" potenziali da integrare tra sistemi di origine eterogenei. Anche dopo che il lavoro è stato completato, è necessario costruire le business rules per le trasformazioni dei dati. Questo lavoro può solitamente dipendere dai requisiti dei dati per un determinato tipo di analisi, che determinerà il livello di sintesi che i dati devono avere.

Sebbene l'ELT sia diventato sempre più popolare con l'adozione dei cloud database, ha i suoi svantaggi in quanto è un processo più recente, il che significa che le best practice sono ancora in fase di definizione.

Il modo più semplice per capire come funziona l'ETL è capire cosa accade in ogni fase del processo.

Estrai

Durante l'estrazione dei dati, i dati non elaborati vengono copiati o esportati dalle posizioni di origine in un'area di staging. I team di gestione dei dati possono estrarre dati da una varietà di origini dati, che possono essere strutturate o non strutturate. Tali fonti includono, a titolo esemplificativo ma non esaustivo:

• Server SQL o NoSQL
• Sistemi CRM ed ERP
• Flat file
• E-mail
• Pagine web

Trasformazione

Nell'area di staging i dati non elaborati vengono sottoposti al trattamento dei dati. Qui i dati vengono trasformati e consolidati per il loro previsto caso d'uso analitico. Questa fase può comportare le seguenti attività:

• Filtraggio, pulizia, deduplicazione, convalida e autenticazione dei dati.
• Esecuzione di calcoli, traduzioni o riepiloghi basati sui dati non elaborati. Ciò può includere la modifica delle intestazioni di riga e colonna per la coerenza, la conversione di valute o altre unità di misura, la modifica di stringhe di testo e altro ancora.
• Conduzione di audit per garantire la qualità dei dati e la conformità.
• Rimozione, crittografia o protezione dei dati regolati dalle autorità di regolamentazione del settore o governative.
• Formattazione dei dati in tabelle o tabelle collegate in modo che corrispondano allo schema del data warehouse di destinazione.

Caricamento

In questo ultimo passaggio, i dati trasformati vengono spostati dall'area di staging a un data warehouse di destinazione. In genere, ciò comporta un caricamento iniziale di tutti i dati, seguito dal caricamento periodico delle modifiche incrementali dei dati e, meno spesso, da aggiornamenti completi per cancellare e sostituire i dati nel warehouse. Per la maggior parte delle organizzazioni che utilizzano ETL, il processo è automatizzato, ben definito, continuo e basato su batch. In genere, l'ETL si verifica durante le ore di inattività, quando il traffico sui sistemi di origine e sul data warehouse è al minimo.

ETL ed ELT sono solo due metodi di integrazione dei dati ed esistono anche altri approcci utilizzati per facilitare i workflow di integrazione dei dati. Alcuni di questi includono:

• Il CDC (Change Data Capture) identifica e acquisisce solo i dati di origine che sono cambiati e li sposta nel sistema di destinazione. Il CDC può essere utilizzato per ridurre le risorse necessarie durante il passaggio ETL di estrazione; può anche essere utilizzato in modo indipendente per spostare i dati che sono stati trasformati in un data lake o in un altro repository in tempo reale.
• La replica dei dati copia le modifiche nelle fonti di dati in tempo reale o in batch in un database centrale. La replica dei dati è spesso elencata come metodo di integrazione dei dati. In effetti, viene spesso utilizzata per creare backup per il disaster recovery.
• La virtualizzazione dei dati utilizza un livello di astrazione del software per creare una visualizzazione unificata, integrata e completamente utilizzabile dei dati, senza copiare, trasformare o caricare fisicamente i dati di origine in un sistema di destinazione. La funzionalità di virtualizzazione dei dati consente a un'organizzazione di creare data warehouse virtuali, data lake e data mart dagli stessi dati di origine per lo storage dei dati senza le spese e la complessità di creazione e gestione di piattaforme separate per ciascuno di essi. Sebbene la virtualizzazione dei dati possa essere utilizzata insieme all'ETL, è sempre più vista come un'alternativa all'ETL e ad altri metodi di integrazione dei dati fisici.
• L'SDI (Stream Data Integration) , come suggerisce il nome stesso, consuma continuamente flussi di dati in tempo reale, li trasforma e li carica in un sistema di analisi di destinazione. La parola chiave qui è continuamente. Invece di integrare istantanee di dati estratti dalle fonti in un determinato momento, l'SDI integra costantemente i dati man mano che diventano disponibili. L'SDI abilita uno storage dei dati per consolidare gli analytics, il machine learning e le applicazioni in tempo reale per migliorare l'esperienza del cliente, il rilevamento delle frodi e altro ancora. 

Le soluzioni ETL migliorano la qualità eseguendo la pulizia dei dati prima di caricare i dati su un repository diverso. Essendo un'operazione batch che richiede molto tempo, l'ETL è consigliato più spesso per la creazione di repository di dati di destinazione più piccoli che richiedono aggiornamenti meno frequenti, mentre altri metodi di integrazione dei dati, tra cui l'ELT (Extract, Load, Transform), il CDC (Change Data Capture) e la virtualizzazione dei dati, vengono utilizzati per integrare volumi di dati sempre più grandi che cambiano o flussi di dati in tempo reale.

In passato, le organizzazioni scrivevano il proprio codice ETL. Ora ci sono molti strumenti ETL open source e commerciali e cloud service tra cui scegliere. Le funzionalità tipiche di questi prodotti sono le seguenti:

• Automazione completa e facilità d'uso: i principali strumenti ETL automatizzano l'intero flusso di dati, dalle origini dati al data warehouse di destinazione. Molti strumenti consigliano regole per l'estrazione, la trasformazione e il caricamento dei dati.
• Un'interfaccia visiva drag and drop: questa funzionalità può essere utilizzata per specificare regole e flussi di dati.
• Supporto per la gestione dei dati complessi: include l'assistenza per calcoli complessi, integrazioni di dati e manipolazioni di stringhe.
• Sicurezza e conformità: i migliori strumenti ETL crittografano i dati sia in movimento che a riposo e sono certificati conformi alle normative di settore o governative, come HIPAA e GDPR.

Inoltre, molti strumenti ETL si sono evoluti per includere funzionalità ELT e per supportare l'integrazione dei dati in tempo reale e in streaming per applicazioni di intelligenza artificiale (AI).

Il futuro dell'integrazione: API che utilizza l'EAI

Le API (Application Programming Interface) che utilizzano l'EAI (Enterprise Application Integration) possono essere utilizzate al posto dell'ETL per una soluzione più flessibile e scalabile che include l'integrazione del workflow. Sebbene l'ETL sia ancora la principale risorsa di integrazione dei dati, l'EAI viene sempre più utilizzata con le API in ambienti basati sul web.