Cos'è l'integrazione dei dati cloud?

L'obiettivo dell'Integrazione dei dati cloud è migliorare l'accesso ai dati cloud e la consegna in tutta l'Organizzazione, garantendo al contempo che i dati rimangano sicuri, governati e performanti come parte di una più ampia Strategia di gestione dei dati. Queste funzionalità fondamentali sono particolarmente critiche mentre le organizzazioni cercano di adottare l'AI, migliorare l'esperienza del cliente e scalare l'analytics in tempo reale in mezzo all'esplosione di volume, velocità e varietà di dati.

Sotto l'ombrello dell'Integrazione dei dati cloud risiedono due sottotipi: hybrid cloud data Integrazione e multicloud data Integrazione.

• Integrazione dell'hybrid cloud: integra i dati che si trovano nel cloud pubblico, nel cloud privato e nell'infrastruttura on-premise.
  
  
• Integrazione dei dati multicloud: integra i dati che si trovano nei servizi cloud di più di un provider di cloud.

Oggi, la maggior parte delle imprese opera in ambienti multicloud ibrido che spaziano tra servizi cloud pubblici e privati di più fornitori. In questo modello, l'integrazione dei dati cloud fornisce la base per mantenere i dati accessibili, affidabili e utilizzabili ovunque si trovino.

Conservare dati aziendali nel cloud offre vantaggi evidenti, in particolare l'eliminazione dei limiti di archiviazione e la possibilità di memorizzare facilmente enormi quantità di big data. Altri benefici comuni includono efficienza dei costi, scalabilità e miglioramento della continuità aziendale.

Grazie a questi vantaggi, le organizzazioni hanno spostato i dati nel cloud a un ritmo rapido (mantenendo anche i dati on-premise per soddisfare le prestazioni o i requisiti normativi). Secondo alcune previsioni, la spesa per il cloud storage aziendale raggiungerà i 128 miliardi di dollari entro il 2028.¹ Altre stimano che la quantità di dati memorizzati a livello mondiale raddoppierà tra il 2024 e il 2029.²

I dati aziendali nel cloud (uno degli asset più critici di un'organizzazione) sono sempre più distribuiti in ambienti ibridi e multicloud, in un'ampia gamma di formati strutturati e non strutturati.

Questi dati eterogenei hanno portato a un panorama di dati frammentato con informazioni suddivise in silos tra team, piattaforme e ambienti, rendendo difficile per i team utilizzare i dati. Allo stesso tempo, il volume di dati generati da app, dispositivi Internet of Things (IoT) e dati di transazione continua a crescere sia nei sistemi cloud che on-premise.

L'integrazione dei dati cloud può contribuire in modo significativo a risolvere questa complessità. Combina e armonizza i dati tra ambienti cloud e on-premise. Questa vista unificata rende i dati cloud accessibili e utilizzabili per analisi e processo decisionale. In un'epoca di rapida innovazione e dati sempre più frammentati, questa capacità è essenziale.

La frammentazione può soffocare l'innovazione e portare a decisioni lente, incoerenti o imprecise, limitando la capacità di un'organizzazione di innovare, adattarsi e raggiungere efficienza operativa. Addirittura, secondo i dati dell'IBM Institute for Business Value, il 68% dei CEO intervistati afferma che l'architettura integrata dei dati a livello aziendale è fondamentale per consentire la collaborazione interfunzionale e stimolare l'innovazione.³

Le iniziative di intelligenza artificiale (AI), in particolare, dipendono da dati unificati, affidabili e coerenti. Senza una solida strategia di integrazione dei dati, le organizzazioni potrebbero avere difficoltà a rendere operativa l'AI su larga scala.

L'integrazione dei dati cloud segue i passaggi tipici di integrazione dei dati, ma può differire nell'ordine operativo e nelle specifiche tecniche, in particolare nel modo in cui le pipeline sono progettate per orchestrare il movimento dei dati e elaborazione tra ambienti cloud distribuiti e ibridi.

1. Identificazione della fonte di dati: nell'integrazione dei dati nel cloud, le fonti di dati hanno caratteristiche specifiche del cloud. Questi includono comunemente data warehouse cloud, software as a service (SaaS) e applicazioni cloud, sistemi cloud object storage e sistemi sorgente ibridi che spaziano tra sistemi legacy on-premise e storage dei dati basati su cloud.
   
   
2. Estrazione dei dati: i dati vengono estratti da fonti cloud e ibride utilizzando strumenti e processi cloud-native che comunemente supportano l'ingestione dei dati e quasi in tempo reale (oltre al batch tradizionale dove necessario). L'estrazione coinvolge in genere le application programming interface (API) o i connettori, sia gestiti che integrati.
   
   
3. Mappatura dei dati: Gli schemi di mappatura definiscono il modo in cui gli elementi dei dati di sistemi diversi corrispondono tra loro. Questo passaggio aiuta a garantire l'allineamento dei dati durante l'integrazione. Nell'integrazione dei dati nel cloud, i processi di mappatura devono adattarsi alla deriva degli schemi comune alle fonti cloud e SaaS.
   
   
4. Caricamento dati: Estrazione, caricamento, trasformazione (ELT) è l'approccio dominante per l'integrazione dei dati cloud, in cui i dati vengono caricati nel sistema di destinazione (come un data warehouse, data lake o data lakehouse) prima della trasformazione. Questo passaggio utilizza storage cloud scalabile e cloud computing per spostare in modo efficiente grandi volumi di dati cloud.
   
   
5. Trasformazione dei dati: la trasformazione dei dati converte e arricchisce i dati in un formato comune per supportare l'accuratezza e la compatibilità a valle. Le trasformazioni in genere utilizzano servizi cloud-nativi e seguono un approccio ELT, sfruttando l'elaborazione parallela e il funzionamento continuo per l'accesso ai dati on-demand negli ambienti cloud.
   
   
6. Convalida dei dati e garanzia della qualità: i controlli di qualità aiutano a garantire l'accuratezza e la qualità dei dati verificando la presenza di errori, incongruenze e problemi di integrità dei dati . I controlli di convalida automatizzati vengono utilizzati su larga scala per mantenere la coerenza tra i formati, i codici, i tipi e gli intervalli di dati.

Proprio come avviene con l’integrazione dei dati tradizionale, l’integrazione dei dati cloud offre un’ampia gamma di benefici, tra cui:

• Accesso unificato ai dati
• Qualità e coerenza dei dati
• Scalabilità e resilienza
• Innovazione accelerata

Le organizzazioni che implementano l’integrazione dei dati cloud possono affrontare una serie di sfide tecniche e operative a livello di governance, prestazioni, elaborazione in tempo reale e modelli di distribuzione.

• Governance, sicurezza e conformità
• Prestazioni e scalabilità
• Integrazione dei dati in tempo reale
• Distribuzioni ibride

L'integrazione dei dati tra i vari sistemi aumenta il numero di potenziali vettori di attacco econ esso il rischio di accesso non autorizzato e di esposizione di informazioni sensibili. Oltre ai problemi di sicurezza dei dati, il trasferimento dei dati dei clienti tra regioni, giurisdizioni o ambienti cloud può essere soggetto a requisiti legali e di residenza dei dati diversi. Le organizzazioni devono garantire che i flussi di dati siano conformi alle normative applicabili, quali GDPR, HIPAA e PCI DSS.

La crittografia dei dati (per i dati in transito e a riposo), una forte autenticazione, permessi e autorizzazioni in ogni punto di integrazione possono aiutare a mitigare questi rischi. Anche un solido framework di governance dei dati può contribuire a rafforzare la sicurezza. Le piattaforme di Integrazione dati con caratteristiche di sicurezza integrate e certificazioni di conformità possono contribuire a ridurre i costi operativi, mentre le piattaforme gestite dal cliente o ospitate localmente offrono un maggiore controllo sui protocolli di sicurezza, sull'applicazione della conformità e sulla gestione delle infrastrutture.

Bilanciare prestazioni, costi e dati complessi è una sfida centrale dell'integrazione dei dati cloud. Se gli strumenti di integrazione dei dati non sono progettati per scalare, possono avere difficoltà a gestire grandi volumi di dati. Le pipeline di acquisizione sovraccariche possono rallentare l’elaborazione dei dati, introdurre ritardi nei processi aziendali, generare output incoerenti e aumentare i costi.

Le organizzazioni possono dare priorità a soluzioni che supportano connettori ad alta velocità, elaborazione parallela e partizionamento per suddividere grandi set di dati. Le caratteristiche integrate di monitoraggio e observability possono fornire visibilità end-to-end sui flussi di dati e sull'utilizzo delle risorse di storage per prevenire i colli di bottiglia, garantendo prestazioni elevate indipendentemente dalle fluttuazioni del volume di dati. Scegliere l’approccio di integrazione corretto è altrettanto importante. Ad esempio, le pipeline ELT trasformano i dati dopo il caricamento, utilizzando la potenza di calcolo elastica delle piattaforme cloud o dei data warehouse per elaborare i dati su larga scala.

L'integrazione dei dati in tempo reale o quasi in tempo reale è sempre più critica per le aziende. Il processo decisionale immediato, i workload AI e altre operazioni sensibili alle tempistiche richiedono flussi continui di dati freschi. Tuttavia, l’integrazione dei dati in tempo reale è tecnicamente complessa, soprattutto con volumi di dati elevati, dove è richiesta un’elaborazione a bassa latenza. Le architetture cloud distribuite possono aggiungere ulteriori problemi di latenza e affidabilità di rete.

Le soluzioni di integrazione dei dati nel cloud che supportano le architetture basate sugli eventi (EDA) consentono ai sistemi di comunicare e scambiare dati in tempo reale. L'aumento dell'adozione delle EDA negli ambienti cloud-native segna un importante spostamento rispetto alle tradizionali architetture batch orientate a lotti verso architetture più dinamiche e reattive che elaborano eventi (record dati) man mano che si verificano.

Change Data Capture (CDC) è un altro metodo di integrazione in tempo reale supportato da molte soluzioni. Raccoglie e consegna le modifiche dei dati man mano che avvengono a diversi sistemi target, consentendo la sincronizzazione quasi in tempo reale.

Molte aziende hanno workload on-premise regolamentati (ad esempio, set di dati memorizzati in Oracle Database, IBM Db2 o SQL Server) che esistono al di fuori del cloud. In questi scenari, una distribuzione completamente basata sul cloud per integrazione dati non è pratica poiché possono sorgere sfide di interoperabilità tra sistemi on-premise e piattaforme cloud.

Un distribuzione ibrida aiuta a affrontare queste sfide elaborando i dati nel luogo in cui risiedono già ed eseguendo le pipeline nello stesso ambiente (sia nel cloud che on-premise). Queste funzionalità aiutano a ridurre la complessità dell'integrazione di sistemi legacy e cloud-native. Possono anche rivelarsi efficaci dal punto di vista dei costi, contribuendo a ridurre la proliferazione degli strumenti. 

Le distribuzioni ibride di Integrazione dati utilizzano l'esecuzione remota del motore, un modello di sviluppo pipeline cloud-native che separa il tempo di progettazione e il tempo di esecuzione. Le pipeline sono progettate a livello centrale ed eseguite nell'ambiente di destinazione, da cloud a cloud, da cloud a on-premise e da on-premise a workload. Questa flessibilità ha benefici cumulativi, tra cui la riduzione del movimento dei dati, i costi di uscita più bassi e la latenza di rete minimizzata.

Esistono molti casi d'uso per sfruttare l'AI per accelerare, semplificare e ottimizzare i processi di integrazione dei dati. Esempi includono la mappatura degli schemi assistita dal machine learning, le interfacce elaborazione del linguaggio naturale (NLP) per la trasformazione dei dati, AI generativa per la creazione dati sintetici e le tecniche basate sull'IA per migliorare data replication.⁴

L'agentic AI è anche una funzionalità emergente e moderna di integrazione dei dati che consente ai team di dati di esprimere i requisiti di integrazione utilizzando un linguaggio naturale. Sulla base di questi input, l’agente può quindi proporre autonomamente piani di progettazione dell’integrazione e assistere continuamente nell’ottimizzazione dei workflow via via che gli ambienti dati e le esigenze aziendali evolvono.

Queste funzionalità agentiche aiutano data engineers a progettare ed eseguire pipeline dati più rapidamente e a ridurre gli sforzi dispendiosi in termini di tempo, come l'inserimento manuale e la migrazione dei dati. Possono anche ridurre i ritardi per gli utenti non tecnici, che spesso non riescono ad accedere ai dati senza l'aiuto dei team di ingegneria dei dati.

Come per altre iniziative di AI, il successo dell'adozione dipende dal fatto che gli esseri umani siano tenuti al corrente, oltre al mantenimento di una efficace governance dell'AI e di una trasparenza continua.