Cos'è la data ingestion?

Le fonti di dati includono sistemi finanziari, fornitori di dati di terze parti, piattaforme di social media, dispositivi IoT , applicazioni SaaS e applicazioni aziendali on-premise come i sistemi di pianificazione delle risorse aziendali (ERP) e di gestione delle relazioni con i clienti (CRM).

Queste fonti contengono sia dati strutturati sia dati non strutturati, oltre a dati semi-strutturati. Una volta acquisiti, i dati possono essere instradati verso data lake, data warehouse, data lakehouse, data mart, database relazionali e altre applicazioni a valle.

Numerosi strumenti di data ingestion automatizzano questo processo, raccogliendo e spostando dati non elaborati da più fonti. A seconda dell'architettura, le pipeline di inserimento possono anche convalidare, filtrare, formattare o trasformare i dati man mano che si spostano e li preparano per l'uso da software di analytics e altre applicazioni aziendali.

La data ingestion può coinvolgere pipeline complesse che solitamente richiedono competenze in data science, data engineering e sviluppo software. I dati potrebbero essere sanitizzati e trasformati in un formato uniforme utilizzando un processo di estrazione, trasformazione e caricamento (ETL) o un processo di estrazione, caricamento e trasformazione (ELT) per gestire il ciclo di vita dei dati in modo efficace.

La data ingestion è il primo passo per elaborare i dati ed estrarre valore dalla grande quantità di dati che le aziende raccolgono oggi. Un processo di data ingestion ben pianificato aiuta a mantenere l'accuratezza, la coerenza e l'affidabilità dei dati mentre si spostano tra i sistemi, supportando l'analisi dei dati, le applicazioni AI, i workflow e altri processi aziendali. Ci sono tre motivi principali per cui la data ingestion è essenziale:

La data ingestion è il processo di raccolta di dati non elaborati da varie fonti e di preparazione per l'analisi. I passaggi esatti dipendono dalla fonte, dalla destinazione e dal metodo di inserimento. Una semplice pipeline di inserimento potrebbe catturare e consegnare dati con minima o nessuna trasformazione, mentre una pipeline più complessa può anche scoprire, convalidare, filtrare, trasformare o arricchire dati lungo il percorso. I passaggi più comuni in una pipeline includono:

La fase esplorativa in cui vengono individuati i dati disponibili all'interno dell'organizzazione. Conoscere il panorama dei dati, la struttura, la qualità e i possibili usi costituisce la base per un corretto processo di data ingestion.

Una volta individuate le fonti dei dati, l'acquisizione di dati consiste nella raccolta dei dati stessi. Questo passaggio può includere il recupero di dati da numerose fonti. Queste fonti includono database strutturati come MySQL , interfacce di programmazione delle applicazioni (API), formati di file come CSV e JSON e fonti non strutturate come immagini e documenti cartacei. La complessità risiede nella gestione della varietà di formati di dati e volumi potenzialmente grandi e nella salvaguardia dell'integrità dei dati durante tutto il processo di acquisizione.

Dopo aver acquisito i dati, la convalida aiuta a individuare gli errori e a garantire la coerenza con le regole stabilite. I dati vengono controllati per individuare eventuali errori, incongruenze e valori mancanti. I dati vengono puliti e resi affidabili e pronti per un'ulteriore elaborazione attraverso vari controlli come la convalida del tipo di dati, la convalida dell'intervallo e la convalida dell'unicità.

Qui i dati validati vengono convertiti in un formato adatto all'analisi. Può includere la normalizzazione (rimozione delle ridondanze), l'aggregazione (riassunto dei dati) e la standardizzazione (formattazione coerente). L'obiettivo è rendere più facile la comprensione e l'analisi dei dati.

Il passaggio finale posiziona i dati trasformati nella posizione designata, come un data warehouse o un data lake, dove sono prontamente disponibili per l'analisi e il reporting. Questo processo di caricamento può essere eseguito in batch o in tempo reale, a seconda delle esigenze specifiche. Il caricamento dei dati indica il completamento della pipeline di data ingestion, dove i dati sono preparati e pronti per processi decisionali informati e per generare preziose informazioni aziendali.

La qualità dei dati è importante per l'inserimento in quanto errori, incongruenze, record incompleti e altri problemi possono influire sui risultati. Come parte del processo di inserimento, le organizzazioni spesso ripuliscono i dati standardizzando i formati, rimuovendo eventuali imprecisioni, correggendo valori mancanti o duplicati e risolvendo altri problemi di qualità dei dati.

La governance dei dati può aiutare a mantenere la qualità dei dati durante l'inserimento stabilendo criteri e standard per la gestione dei dati. Garantisce la responsabilità attraverso ruoli e responsabilità definiti. Potrebbe anche comportare l'implementazione di metriche e sistemi di monitoraggio per monitorare e affrontare le problematiche, facilitare il rispetto della conformità a regolamenti come GDPR o HIPAA e promuovere la coerenza standardizzando definizioni e formati dei dati.

Uno dei vantaggi della data ingestion è che può contribuire a rendere i dati provenienti da fonti eterogenee più accessibili e utilizzabili in tutta l'organizzazione. Altri vantaggi sono i seguenti:

Gli strumenti di data ingestion possono semplificare l'attività spesso complessa di raccolta e trasferimento di dati da varie fonti con formati e strutture diversi. Alcune piattaforme possono anche convalidare, trasformare o standardizzare i dati come parte della pipeline.

Un'efficace pipeline di data ingestion a bassa latenza riesce a gestire grandi quantità di dati ad alte velocità, inclusa l'inserimento in tempo reale. In questo modo, le organizzazioni possono elaborare e agire su informazioni che cambiano rapidamente.

Le aziende possono ridurre il tempo e le risorse tradizionalmente necessari per i processi manuali di aggregazione dei dati, automatizzando la raccolta e la pulizia dei dati attraverso la data ingestion. Inoltre, le soluzioni di data ingestion as-a-service possono offrire ulteriori vantaggi in termini di costi, eliminando la necessità di investimenti iniziali nell'infrastruttura.

Un processo di data ingestion ben progettato può aiutare le aziende a crescere man mano che aumentano i volumi di dati, le fonti e le esigenze aziendali. La scalabilità consente alle organizzazioni di supportare nuovi workload e casi d'uso, continuando ad accedere e ad analizzare i dati in modo efficace man mano che il landscape si evolve.

Numerosi strumenti moderni di data ingestion sono progettati per funzionare in ambienti cloud, on-premise e ibridi, aiutando le organizzazioni a spostare e integrare i dati laddove necessario. I servizi di acquisizione basati su cloud possono ridurre il sovraccarico di gestione dell'infrastruttura e renderlo più facile da scalare man mano che i volumi di dati aumentano, supportando al contempo l'accesso ai dati tra sistemi e team distribuiti.

La data ingestion comprende vari metodi per trasferire dati da diverse fonti in un sistema designato.

Questo metodo di acquisizione prevede l'accumulo di dati in un periodo specifico (report di vendita giornalieri, rendiconti finanziari mensili) prima di elaborarli nella loro interezza. L'elaborazione in batch è nota per la sua semplicità, affidabilità e impatto minimo sulle prestazioni del sistema, in quanto può essere programmata per le ore di bassa attività. Tuttavia, non è l'ideale per le applicazioni in tempo reale.

Questo metodo inserisce i dati man mano che vengono generati, rendendoli disponibili per l'elaborazione e l'analisi con ritardi minimi. La data ingestion in tempo reale può supportare un processo decisionale più rapido ed è particolarmente adatta ad applicazioni sensibili al tempo come il rilevamento delle frodi o le piattaforme di trading azionario, dove sono fondamentali risposte rapide alle condizioni mutevoli.

CDC è un metodo di acquisizione che individua e cattura le modifiche apportate ai dati in un sistema sorgente come inserti, aggiornamenti e cancellazioni. Successivamente consegna tali cambiamenti ai sistemi a valle. Dal momento che trasferisce modifiche incrementali anziché interi set di dati, CDC può contribuire a ridurre lo spostamento dei dati e a supportare la disponibilità dei dati quasi in tempo reale in modo più efficiente rispetto ai caricamenti completi periodici dei dati.

L'inserimento streaming e l'elaborazione dello streaming sono concetti strettamente correlati. L'inserimento dello streaming cattura e trasmette costantemente i dati man mano che vengono generati. L'elaborazione in streaming analizza costantemente i dati man mano che arrivano. Sia l'elaborazione in tempo reale sia quella in streaming possono richiedere una potenza di calcolo e risorse di larghezza di banda di rete significative.

L'inserimento basato su API raccoglie dati da applicazioni, servizi e piattaforme attraverso interfacce di programmazione applicativa (API). Questo metodo è comunemente utilizzato per inserire dati da applicazioni cloud, piattaforme SaaS, servizi di social e sistemi aziendali. L'inserimento basato su API può fornire l'accesso ai dati attuali su richiesta, ma fattori come limiti di velocità, requisiti di autenticazione e disponibilità delle API possono influenzare le prestazioni e l'affidabilità dell'inserimento.

Il metodo del microbatching crea un equilibrio tra elaborazione in batch e in tempo reale. Acquisisce dati in batch piccoli e frequenti, fornendo aggiornamenti quasi in tempo reale senza i vincoli di risorse tipici dell'elaborazione in tempo reale su vasta scala. Per ottimizzare il compromesso tra freschezza dei dati e prestazioni del sistema, sono necessarie un'attenta pianificazione e gestione.

L'architettura Lambda è un'architettura di trattamento dei dati che utilizza livelli separati di elaborazione in batch e in tempo reale. Il livello batch elabora set di dati storici completi, mentre il livello streaming processa i dati generati appena arrivati. Un livello di servizio combina gli output di entrambi i livelli, offrendo una visione unificata dei dati storici e attuali.

Gli strumenti di data ingestion offrono una gamma di soluzioni per soddisfare varie esigenze e competenze tecniche.

Strumenti open source: strumenti che forniscono accesso gratuito al codice sorgente del software, offrendo agli utenti il controllo completo e la possibilità di personalizzare lo strumento. Apache Kafka, ad esempio, è una piattaforma open source ampiamente utilizzata per la data ingestion e l'integrazione di dati di streaming.

Strumenti proprietari: soluzioni sviluppate e concesse in licenza da fornitori di software, offrono funzioni predefinite e vari piani tariffari, ma potrebbero comportare il blocco da fornitore e costi di licenza continui.

Strumenti basati sul cloud: strumenti di inserimento forniti come cloud service, che semplificano l'implementazione e la manutenzione e offrono scalabilità senza la necessità di investimenti iniziali in infrastrutture. Esempi includono servizi gestiti come AWS Glue e Amazon Kinesis, oltre a piattaforme cloud di dati come Snowflake, che offrono funzionalità per inserire, elaborare e gestire i dati su larga scala.

Strumenti on-premise: questi strumenti sono installati e gestiti su una rete cloud privata o locale che fornisce un maggiore controllo sulla sicurezza dei dati ma richiede investimenti in hardware e supporto IT costante.

Nel bilanciare le esigenze e le competenze, esistono diversi approcci per costruire pipeline di data ingestion:

Pipeline codificate a mano: queste pipeline su misura offrono il massimo controllo, ma richiedono una notevole esperienza di sviluppo.

Connettori precostruiti e strumenti di trasformazione: questo approccio offre un modo semplice per sviluppare pipeline di dati utilizzando connettori preconfigurati e funzionalità di trasformazione. Ad esempio, IBM Confluent offre strumenti e servizi gestiti che aiutano le organizzazioni a sviluppare e gestire pipeline di streaming di dati e data ingestion.

Piattaforme di integrazione dati: queste piattaforme offrono un ambiente unificato per compiti come data ingestion, trasformazione, orchestrazione e spostamento dei dati, ma potrebbero richiedere competenze nello sviluppo per garantire configurazione e manutenzione.

Sebbene fondamentale per le pipeline di dati, il processo di data ingestion non è privo di complessità. Sei sfide comuni includono:

Sicurezza dei dati: una maggiore esposizione aumenta il rischio di violazioni di sicurezza per i dati sensibili. Il rispetto delle normative sulla sicurezza dei dati aggiunge complessità e costi.

Scalabilità e varietà: possono presentarsi colli di bottiglia in ambito di prestazioni a causa del volume, della velocità e della varietà di dati in continua crescita.

Gestione dei costi e proliferazione della data ingestion: le fluttuazioni nei flussi di dati e la crescita dei workload di data ingestion possono influenzare i requisiti infrastrutturali e i costi operativi, rendendo il monitoraggio e l'ottimizzazione dei costi considerazioni importanti.

Frammentazione dei dati: i dati distribuiti su più applicazioni, database, piattaforme e altre fonti possono rendere difficile la creazione di una visione unificata. I dati frammentati possono portare a incongruenze, record duplicati e sfide nell'integrazione e nell'analisi dei dati.

Deriva dello schema: le modifiche alla struttura dei dati di origine, come l'aggiunta, la rimozione o la modifica di campi possono creare discrepanze tra i sistemi di origine e di destinazione. Se le pipeline di inserimento non vengono aggiornate per adattarsi a questi cambiamenti, la deriva dello schema può interrompere i workflow e creare altre sfide.

Garanzia della qualità dei dati: la natura complessa dei processi di data ingestion può compromettere l'affidabilità dei dati.

Data ingestion, estrai, trasforma, carica (ETL) ed estrai, carica, trasforma (ELT) perseguono un obiettivo comune, ovvero rendere i dati disponibili e utilizzabili, ma differiscono nei loro approcci.

La data ingestion si riferisce all'ampio processo di raccolta dei dati dai sistemi di origine e di renderli disponibili in un ambiente di destinazione per lo storage, l'elaborazione o l'uso. ETL ed ELT sono approcci specifici che definiscono come e quando i dati vengono trasformati come parte di quel processo.

Estrazione, trasformazione e caricamento è il processo di estrazione dei dati dai sistemi sorgente, trasformandoli per soddisfare i requisiti del sistema di destinazione per poi caricarli nella destinazione.

Estrazione, caricamento e trasformazione (ELT) è un approccio in cui i dati vengono estratti dai sistemi sorgente e caricati in un sistema target prima di essere trasformati. I dati non elaborati vengono memorizzati nell'ambiente di destinazione e trasformati secondo necessità.

La data ingestion e l'integrazione dei dati servono a scopi distinti all'interno della pipeline di dati.

La data ingestion è spesso un componente di un processo di integrazione dei dati più ampio. Ha funzione di punto di ingresso per i dati provenienti da una o più fonti. L'obiettivo principale è acquisire e consegnare dati in modo efficiente, anche se l'inserimento può includere anche compiti come convalida, filtraggio, formattazione o controlli di qualità.

La pratica di combinare e armonizzare dati provenienti da più fonti in un formato unificato e coerente. L'integrazione dei dati può comportare la pulizia, la standardizzazione e l'arricchimento dei dati per garantire coerenza e accuratezza in tutto il set di dati.

Man mano che le organizzazioni generano e consumano sempre più dati, la data ingestion svolge un ruolo importante nel garantire che le informazioni possano essere accessibili e utilizzate. I casi d'uso più comuni includono:

Le organizzazioni utilizzano la data ingestion per raccogliere dati provenienti da database, applicazioni, API, file e dispositivi connessi e renderli disponibili in cloud data lake, data warehouse e data lakehouse. Raccogliendo informazioni da più fonti, le organizzazioni possono creare una visione più completa delle proprie operazioni, dei clienti e delle prestazioni.

Ad esempio, i rivenditori potrebbero inserire dati relativi a punto vendita, e-commerce e inventario per migliorare la previsione della domanda, mentre le organizzazioni sanitarie potrebbero combinare dati clinici, di laboratorio e di monitoraggio dei pazienti per supportare la fornitura delle cure e la pianificazione operativa.

Man mano che le organizzazioni modernizzano la propria infrastruttura dati, la data ingestion svolge un ruolo chiave nel trasferimento dei dati da sistemi legacy, database on-premise e data warehouse ad ambienti cloud. Gli strumenti di inserimento possono automatizzare migrazioni su larga scala e sincronizzare i dati tra i sistemi durante la transizione.

Numerose piattaforme supportano la raccolta dei dati delle modifiche (CDC), consentendo alle organizzazioni di replicare costantemente gli aggiornamenti dai sistemi sorgente, così che gli ambienti basati su cloud rimangano aggiornati senza richiedere carichi completi dei dati. Questo approccio può aiutare istituzioni finanziarie, governative e altre organizzazioni con grandi volumi di dati legacy a modernizzare i propri ambienti di analytics minimizzando al contempo le interruzioni nelle operazioni aziendali.

Numerose organizzazioni si affidano alla data ingestion per supportare applicazioni basate sugli eventi e real-time analytics. Gli strumenti di inserimento possono raccogliere e trasmettere costantemente dati da fonti come clickstream di siti web, log delle applicazioni, feed dei social media e sensori IoT.

Rendendo queste informazioni disponibili man mano che si verificano gli eventi, le organizzazioni possono monitorare le operazioni, rilevare problemi emergenti e rispondere più rapidamente alle condizioni in continua evoluzione. I fornitori di telecomunicazioni, ad esempio, possono utilizzare i dati in streaming per monitorare le prestazioni della rete e la qualità del servizio. Nel frattempo, i produttori possono analizzare la telemetria dell'attrezzatura per individuare i colli di bottiglia della produzione e i potenziali problemi di manutenzione prima che causino tempo di inattività.

Le organizzazioni possono utilizzare la data ingestion per renderli disponibili i dati per le piattaforme di data observability che aiutano i team a valutare affidabilità, aggiornamenti, completezza e coerenza dei dati tra i sistemi.

Inserendo costantemente i dati provenienti da database operativi, piattaforme di streaming in tempo reale e altre fonti, le aziende sanitarie e altre aziende possono sviluppare le basi per individuare anomalie, rilevare cambiamenti negli schemi e tracciare il movimento dei dati attraverso le pipeline. Questa pratica può inoltre accrescere la fiducia nei dati utilizzati per analytics, reporting e applicazioni di AI.

I sistemi di AI e machine learning dipendono dall'accesso tempestivo a grandi volumi di dati. La data ingestion aiuta le organizzazioni a raccogliere, integrare e preparare dati da più fonti in modo che possano essere utilizzati per l'addestramento, l'inferenza e il monitoraggio dei modelli. Supporta inoltre applicazioni di AI generativa, sistemi di Retrieval-augmented generation (RAG) e agenti AI.

Ad esempio, le banche potrebbero inserire dati sulle transazioni e sulle attività dei conti per supportare modelli di rilevamento delle frodi e applicazioni di servizio clienti basate su AI. Le organizzazioni sanitarie e delle scienze biologiche potrebbero unire dati clinici e di ricerca per supportare l'analytics predittiva o utilizzare dati di imaging per migliorare il processo decisionale assistito dall'AI. Le organizzazioni che implementano sistemi RAG e agenti AI possono utilizzare la data ingestion per offrire costantemente documenti, knowledge base e registri operativi che aiutano a recuperare il contesto rilevante e ad agire sulle informazioni attuali.

Le aziende utilizzano la data ingestion per raccogliere informazioni sui clienti provenienti da siti web, applicazioni mobile, sistemi CRM, piattaforme di marketing e canali di supporto clienti e renderle disponibili per l'analisi. La combinazione di queste fonti di dati consente una conoscenza più completa del comportamento e delle preferenze dei clienti. Le aziende possono utilizzare gli insight ottenuti per personalizzare le esperienze, migliorare il servizio clienti, ottimizzare le campagne di marketing, supportare la forza vendita e identificare le opportunità di crescita.

La data ingestion supporta la business intelligence (BI) e la rendicontazione rendendo così disponibili i dati provenienti da più sistemi operativi per l'analisi e migliorando la disponibilità dei dati. Le organizzazioni possono utilizzare i dati ingeriti per sviluppare dashboard, monitorare gli indicatori chiave di performance (KPI), individuare le tendenze e supportare un processo decisionale basato sui dati.

Indipendentemente se si tratta di monitorare le prestazioni di vendita, misurare l'efficienza della supply chain o monitorare i risultati finanziari, le organizzazioni dipendono da pipeline di data ingestion affidabili per garantire che i report e l'analytics riflettano le condizioni aziendali attuali.