Cos'è l'orchestrazione dei dati?

L’orchestrazione dei dati è la gestione e il coordinamento dei flussi di dati attraverso diversi sistemi, processi e strumenti. Aiuta a organizzare e semplificare le fasi della pipeline di dati, tra cui raccolta, ingestione, trasformazione, integrazione e storage.

Attraverso un processo di orchestrazione dei dati efficace, le informazioni fluiscono in modo affidabile ed efficiente verso le varie destinazioni target e sono pronte per l’analisi dei dati e altri utilizzi al momento dell’arrivo. Queste funzionalità di base la rendono una pratica fondamentale di gestione dei dati nell'era dei workload dei big data e del processo decisionale basato sui dati. 

I data engineer si affidano a strumenti e piattaforme di orchestrazione dei dati per semplificare il movimento dei dati e supportare la scalabilità delle iniziative aziendali sui dati. L'automazione è alla base di molte soluzioni moderne di orchestrazione dei dati. Consente di eseguire le attività sui dati, come l'integrazione e la trasformazione dei dati, in un ordine logico senza l'intervento umano. 

Per utilizzare la potenza dei loro crescenti volumi di dati, le aziende devono orientarsi in ecosistemi dati sempre più complessi. I loro dati provengono spesso da fonti diverse e in formati variabili. 

Vengono inoltre comunemente memorizzati sia in repository basati su cloud che on-premise, come data lake e data warehouse, in tutto il mondo. In molte organizzazioni i dati vengono utilizzati con strumenti diversi da team e dipendenti differenti (CRM per i team di vendita, piattaforme di analytics per gli operatori di marketing, e così via). Secondo un sondaggio condotto da IDC nel 2024 tra tra leader IT e dei reparti aziendali, i dati operativi provengono in media da 35 diversi sistemi e sono integrati in 18 diversi repository di data analytics.¹

Questi ambienti dati così complessi sono soggetti a silos di dati, dati di bassa qualità e altri problemi che creano colli di bottiglia nelle pipeline di dati e introducono errori nelle analisi a valle. Un'efficace orchestrazione dei dati può aiutare le imprese a superare queste sfide e a sbloccare valore dai propri dati.

L'orchestrazione dei dati aiuta le aziende a utilizzare i dati per ottenere informazioni preziose, decisioni informate e innovazione. I benefici specifici includono:

L'orchestrazione dei dati e l'integrazione dei dati sono concetti strettamente correlati ma non identici. Sebbene entrambi permettano il consolidamento e l'unificazione dei dati per i casi d'uso dell'analytics, l'integrazione dei dati è più dettagliata, mentre l'orchestrazione dei dati è una pratica generale. 

L'orchestrazione dei dati ottimizza il movimento dei dati attraverso diversi sistemi e processi. L'integrazione dei dati è uno di questi processi, che utilizza diversi metodi (come estrazione, trasformazione e caricamento, o ETL) per combinare e armonizzare i dati provenienti da fonti diverse e poi caricarli in un sistema di destinazione.

L'orchestrazione dei dati aiuta le organizzazioni ad affrontare l'enorme complessità dei loro ecosistemi di dati. La pratica stessa è comunemente suddivisa in tre passaggi fondamentali:

• Organizzazione: i dati vengono raccolti da una serie di fonti interne ed esterne e poi organizzati (spesso in una posizione centrale) in modo che siano pronti per la trasformazione.
  
  
• Trasformazione: i dati non elaborati vengono convertiti in un formato unificato, puliti e convalidati per confermarne la coerenza e l'accuratezza.
  
  
• Attivazione: i dati vengono resi disponibili per l'analisi, l'indirizzamento verso gli strumenti della dashboard e per altri scopi.

Alla base dei passaggi fondamentali dell'orchestrazione dei dati ci sono diverse funzioni chiave. Tra queste:  

• Definizione delle dipendenze tra le attività e sequenziamento delle attività
• Automazione dei workflow dei dati
• Monitoraggio e invio di avvisi

L'orchestrazione dei dati spesso inizia con la definizione delle attività di elaborazione dei dati e del loro ordine di esecuzione nelle pipeline di dati e nei workflow. Aiuta a garantire che quando un'attività dipende dal risultato di un'altra attività, quest'ultima venga completata per prima. Questo tipo di sequenziamento delle attività, basato sulle dipendenze, aiuta le organizzazioni a evitare costosi fallimenti della pipeline.

Per progettare e organizzare le sequenze di attività, gli ingegneri dei dati utilizzano spesso grafi aciclici diretti, o DAG,in cui i nodi sono collegati da connessioni unidirezionali che non formano cicli. Nodi diversi in un DAG possono rappresentare diversi processi di dati, come data ingestion e trasformazione dei dati, e la sequenza in cui devono essere eseguiti. Gli archi che collegano i nodi rappresentano le dipendenze tra i processi.

Un'alternativa ai DAG per definire e ordinare le attività è un approccio orientato al codice. Un approccio diffuso orientato al codice utilizza il linguaggio di programmazione open-source Python per creare funzioni per la gestione dei workflow; questa configurazione è spesso considerata più adatta ad accogliere workflow dinamici.

L'orchestrazione dei dati moderna automatizza più workflow dei dati, come ETL, ELT (estrazione, caricamento, trasformazione) e la trasformazione dei dati all'interno dei data warehouse, al fine di garantire la coerenza e minimizzare o eliminare l'intervento umano. Una persona può avviare un'attività automatizzata sui dati, tuttavia le attività possono anche essere programmate attraverso tre tipi di trigger:²

• Trigger basati sul tempo: le attività vengono eseguite a intervalli o orari prestabiliti.
  
  
• Trigger basati sulle dipendenze: le attività vengono eseguite solo dopo che altre attività specificate sono state completate.
  
  
• Attivazione basata su eventi: segnali provenienti dal mondo reale, come le chiamate API, lanciano un'attività.

Sebbene il monitoraggio delle pipeline di dati sia spesso considerato una pratica di data observability, svolge anche un ruolo nell'orchestrazione dei dati aiutando a garantire che i dati fluiscano e siano elaborati come previsto. 

Le organizzazioni possono monitorare diversi tipi di metriche, tra cui metriche delle prestazioni come latenza e throughput, metriche di utilizzo delle risorse come l'utilizzo di CPU e memoria e metriche sulla qualità dei dati, come precisione, completezza e coerenza.³

Quando viene rilevato un problema nella pipeline di dati, come il fallimento di un'attività, gli strumenti di notifica possono inviare avvisi tempestivi ai team di dati affinché possano risolvere rapidamente il problema. Le soluzioni di orchestrazione possono anche consentire tentativi di ripetizione per mitigare i problemi; ad esempio, un’attività non riuscita può essere eseguita di nuovo automaticamente un numero specifico di volte prima che vengano inviate le notifiche.

L'orchestrazione dei dati è simile ma notevolmente distinta da altri due tipi di orchestrazione, ovvero l'orchestrazione dei workflow e l'orchestrazione dei processi. Entrambe queste pratiche sono più ampie dell'orchestrazione dei dati, e l'orchestrazione dei dati può essere considerata una forma di entrambe.
 
L'orchestrazione del workflow si concentra sul coordinamento e la gestione di una serie di attività, sistemi e strumenti interconnessi per ottenere un risultato specifico. Enfatizza l'esecuzione end-to-end e l'integrazione dei workflow in ambienti diversi, aiutando le attività a svolgersi nell'ordine corretto, nel rispetto delle dipendenze.

L'orchestrazione dei processi si riferisce alla gestione e all'integrazione di più processi aziendali, che spesso coinvolgono workflow, persone e sistemi. Invece di concentrarsi sulla gestione del workflow, comporta il coordinamento end-to-end di interi processi aziendali, promuovendo l'allineamento con gli obiettivi organizzativi.

Le organizzazioni e i team che si occupano di dati possono scegliere tra diverse soluzioni di orchestrazione dei dati, nel tentativo di ottimizzare il modo in cui elaborano i dati. La soluzione migliore per un’organizzazione dipenderà dalle sue priorità specifiche, come i costi (open source o commerciali), le esigenze di observability e le integrazioni con altre soluzioni di dati (strumenti di analytics come dbt o piattaforme dati basate su cloud come Snowflake).

Gli strumenti e le piattaforme di orchestrazione dei dati più diffusi offrono generalmente opzioni per connettersi ad altre soluzioni di dati, ma differiscono sotto altri aspetti. Di seguito, un approfondimento su diverse soluzioni di orchestrazione dei dati:

• Apache Airflow
• AWS Step Functions
• Azure Data Factory
• Dagster
• Piattaforme IBM DataOps
• Prefect

Apache Airflow, la soluzione di orchestrazione dei dati più celebre, è una piattaforma open source progettata principalmente per l'elaborazione in batch. Consente la pianificazione del workflow, dove i workflow vengono definiti come DAG. Airflow presenta un'architettura che supporta la scalabilità e l'esecuzione parallela, il che lo rende adatto alla gestione di pipeline complesse e ad alta intensità di dati.

AWS Step Functions è un servizio di orchestrazione serverless di Amazon che offre un'interfaccia visiva per coordinare applicazioni distribuite e microservizi. È spesso consigliato alle organizzazioni che già si affidano all'infrastruttura Amazon, ma può anche integrarsi con applicazioni di terze parti.

Azure Data Factory di Microsoft è un servizio di integrazione dati serverless completamente gestito che si integra nativamente con altri servizi Azure. Presenta un'interfaccia utente visiva per l'integrazione delle fonti di dati e l'orchestrazione di pipeline di dati ETL e ELT.

Dagster è noto per il suo focus su observability e qualità dei dati, con funzionalità come il data lineage e il monitoraggio dei metadati. Le sue caratteristiche includono anche test locali e componenti riutilizzabili per supportare prodotti di dati AI-ready e pratiche moderne di ingegneria del software. 

IBM® offre una selezione di strumenti e piattaforme DataOps dotati di funzionalità di orchestrazione dei dati. IBM watsonx.data intelligence fornisce un catalogo dati per automatizzare la scoperta e la gestione della qualità dei dati. IBM watsonx.data integration offre un control plane unificato per la creazione di pipeline riutilizzabili. IBM Cloud Pak for Data utilizza la virtualizzazione dei dati, le pipeline e i connettori per combinare dati provenienti da fonti isolate, eliminando al contempo la necessità di spostamento fisico dei dati.

Prefect è uno strumento di orchestrazione dei dati, disponibile in una versione open-source e in una soluzione gestita nel cloud con funzionalità aggiuntive per le aziende. A differenza di altre soluzioni di orchestrazione dei dati, Prefect non si basa sui DAG e adotta invece un approccio orientato al codice, che alcuni preferiscono per un'orchestrazione più dinamica.