Cos'è la data intelligence? 

In altre parole, la data intelligence aiuta le organizzazioni a rispondere a domande fondamentali sui propri dati, tra cui:

• Quali dati possiede l'organizzazione? Perché esistono questi dati?

• Da dove provengono i dati e dove risiedono? 

• Chi utilizza i dati? Come li stanno utilizzando e come devono utilizzarli per ottenere i risultati migliori?

• In che modo i vari set di dati sono correlati tra loro?

La data intelligence risponde a queste domande utilizzando una serie di processi e strumenti interconnessi per automatizzare e semplificare la gestione dei metadati e data discovery, la governance dei dati, il controllo della qualità, l'analisi dei dati e altre attività.

Secondo IBM Data Differentiator, fino al 68% dei dati aziendali non viene mai analizzato. A causa dell'enorme quantità di dati a disposizione, le organizzazioni possono avere difficoltà ad applicare i controlli di qualità e a far rispettare le politiche di governance. Gli utenti non sempre riescono a trovare i dati giusti per il loro lavoro e potrebbero anche non sapere che esistono. 

La data intelligence è emersa per affrontare questo problema unendo gli strumenti esistenti (come i cataloghi di dati, le soluzioni di data lineage, i marketplace di dati, l'AI e il machine learning) in un unico processo completo.  

Questo processo unificato offre alle organizzazioni maggiori insight sui propri dati e su come trarne il massimo valore. In questo modo, la DI abilita l'analytics self-service e supporta iniziative chiave come la business intelligence e l'AI generativa.

La gestione dei dati è una disciplina ampia che supervisiona l'intero ciclo di vita dei dati, dalla creazione all'eliminazione. Mentre la gestione dei dati si rivolge più agli aspetti pratici della raccolta, memorizzazione e elaborazione dei dati, la data intelligence riguarda la loro comprensione.

La data intelligence integra la gestione dei dati fornendo alle organizzazioni gli insight di cui hanno bisogno per fare scelte più informate sull'acquisizione, la protezione, la pulizia e la condivisione dei dati.

Dall'alba del Web 2.0 e dall'ascesa del cloud computing, le organizzazioni hanno raccolto più dati (dati dei clienti, dati operativi, dati transazionali) da più fonti di dati (app web, sistemi aziendali, dispositivi Internet of Things). La nascita dell'AI generativa non ha fatto altro che aumentare il valore e la quantità di tutti questi dati.

Ma gestire questi dati, monitorando come vengono utilizzati e come cambiano, archiviandoli in modo sicuro, facilitando l'accesso, mantenendoli puliti e aggiornati, può essere difficile. Se non vengono gestiti in modo adeguato, può essere difficile per i consumatori trovare i dati di cui hanno bisogno, e ancor meno trarne insight attuabili.

Le organizzazioni hanno da tempo le funzionalità per gestire i dati: strumenti di data lineage per mappare i cicli di vita dei dati end-to-end, strumenti di governance per definire le politiche di utilizzo, strumenti di profilazione e pulizia dei dati e così via. Tuttavia, queste funzionalità erano spesso frammentate, sparse tra prodotti e funzioni eterogenei.  

L'innovazione principale della disciplina della data intelligence è riunire questi strumenti con tecnologie avanzate di AI e machine learning in un'unica piattaforma o in uno stack di dati strettamente integrato.  

Secondo IDC, molte delle attuali piattaforme di data intelligence si sono evolute notevolmente da quando erano semplici strumenti di catalogo dati. Dal 2020, i fornitori hanno sempre più raggruppato i loro cataloghi con soluzioni complementari, come strumenti di data lineage e data marketplace, o hanno integrato queste funzioni direttamente nei loro cataloghi.¹

La data intelligence è un campo in via di sviluppo, e diversi fornitori e professionisti presentano le proprie interpretazioni di questa disciplina. Tuttavia, la maggior parte concorda sul fatto che la data intelligence comprenda cinque funzioni fondamentali:

• Gestione metadati
• Data lineage
• Governance dei dati
• Qualità dei dati
• Integrazione dei dati

I metadati sono informazioni su un punto o un set di dati, come l'autore o la dimensione del file. La gestione dei metadati è fondamentale per le iniziative di data intelligence perché i metadati ben gestiti aiutano gli utenti a navigare facilmente in sistemi di dati complessi.

La gestione dei metadati aiuta a organizzare, etichettare, filtrare e ordinare i set di dati in modo che gli utenti abbiano un quadro completo dei dati a loro disposizione e possano recuperare rapidamente le informazioni di cui hanno bisogno.

La gestione attiva dei metadati è particolarmente importante per la data intelligence. Mentre la gestione tradizionale dei metadati è in gran parte manuale, la gestione attiva dei metadati utilizza AI e ML per automatizzare l'elaborazione dei metadati.

Man mano che i dati vengono trasformati e utilizzati, i relativi metadati possono cambiare. La gestione attiva dei metadati tiene traccia di queste modifiche, aggiorna automaticamente i metadati e utilizza i metadati per generare raccomandazioni e avvisi. In questo modo, può semplificare la data discovery, migliorare la fiducia nei dati e consentire la protezione e la governance dei dati su larga scala.

Il data lineage è il processo di tracciamento del flusso di dati nel tempo. Fornisce una chiara comprensione dell'origine dei dati, dei loro cambiamenti e della loro destinazione finale all'interno della pipeline dei dati.

Il data lineage aiuta gli utenti a capire come i dati cambiano durante il loro ciclo di vita, rendendo i dati aziendali più affidabili. Inoltre, aiuta le organizzazioni a rilevare gli errori, identificare le dipendenze e anticipare in che modo le modifiche apportate a un set di dati potrebbero influire sulle operazioni aziendali e sui sistemi IT più ampi.

La governance dei dati contribuisce a garantire l'integrità dei dati e la sicurezza dei dati definendo e implementando politiche, standard e procedure per la raccolta, la proprietà, l'archiviazione, l'elaborazione e l'utilizzo dei dati.     

La governance dei dati aiuta a mantenere dati sicuri e di alta qualità, facilmente accessibili e conformi alle norme e ai regolamenti vigenti. Nelle attività di data intelligence, le politiche di governance aiutano gli utenti a capire come possono e devono utilizzare i dati.  

Ad esempio, le politiche di governance possono impedire ai data scientist di fornire dati sensibili dei clienti ai modelli AI per evitare violazioni della privacy dei dati.  

Gli strumenti e le pratiche di qualità dei dati aiutano a garantire l'accuratezza, la completezza, la validità, la coerenza, l'unicità, la tempestività e l'idoneità allo scopo di un set di dati. Gli sforzi per garantire la qualità dei dati accrescono la fiducia degli utenti nelle conclusioni e negli insight che traggono dai dati aziendali.

Le iniziative DI spesso includono anche la gestione dei dati master (MDM), ovvero i dati fondamentali di un'organizzazione sulle entità aziendali chiave, come i clienti, i prodotti e le sedi. La MDM assicura che questi dati siano puliti e coerenti attraverso la convalida, la fusione, la deduplicazione e l'arricchimento.  

L'integrazione dei dati è il processo di combinazione e armonizzazione dei dati provenienti da più fonti per facilitarne l'utilizzo a fini analitici, operativi e decisionali. Può comportare la standardizzazione dei formati di dati, la trasformazione dei dati in formati più utilizzabili e la raccolta di dati provenienti da fonti diverse in data lake condivisi, data warehouse o data lakehouse.  

L'integrazione dei dati semplifica l'accesso e la condivisione dei dati, rendendo più facile per i consumatori recuperare i dati di cui hanno bisogno e collaborare tra loro.

Alcuni fornitori offrono piattaforme di data intelligence che combinano varie caratteristiche e funzioni in un'unica soluzione. Altri offrono portafogli integrati di soluzioni complementari. In entrambi i casi, gli strumenti tecnologici fondamentali alla base della maggior parte delle iniziative di data intelligence includono: 

• Cataloghi dati
• Strumenti di tracciabilità dei dati
• Marketplace di dati e hub di prodotti 
• Intelligenza artificiale e machine learning
• Data lake, warehouse e lakehouse

Un catalogo di dati utilizza i metadati per creare un inventario dettagliato e ricercabile di tutti gli asset di dati di un'organizzazione. In questo modo è facile per i consumatori di dati individuare i dati più appropriati per qualsiasi scopo aziendale o di analisi. 

Oltre all'inventario dei dati, molti cataloghi di dati moderni offrono funzionalità quali:

• Meccanismi di governance dei dati, inclusa la capacità di impostare e applicare politiche sull'utilizzo e sulla privacy dei dati, ad esempio cancellando automaticamente le informazioni sensibili.

• Gestione attiva dei metadati utilizzando AI e Apprendimento automatico (ML) per generare automaticamente metadati e aggiornare i record man mano che i dati cambiano.

• Glossari aziendali che consentono alle organizzazioni di creare definizioni e framework standard per termini, concetti ed entità chiave in tutta l'organizzazione.

• Controlli sulla qualità dei dati, come la profilazione dei dati, la pulizia, la convalida e le metriche di qualità.

Gli strumenti di data lineage mappano automaticamente i flussi di dati, le trasformazioni e le dipendenze, offrendo insight chiave sui cicli di vita dei dati. Le soluzioni di data lineage consentono alle organizzazioni di vedere da dove provengono i dati, come si spostano nell'ecosistema, come cambiano e come vengono utilizzati dai consumatori.

I marketplace di dati, chiamati anche hub di prodotti dati, sono piattaforme digitali in cui gli utenti possono accedere e condividere prodotti di dati.  

I prodotti di dati sono set di dati o asset preconfezionati, pre-elaborati e facilmente consumabili che le persone possono utilizzare per supportare le attività di BI, analytics e data science. Esempi di prodotti di dati includono set di dati curati, dashboard di analytics, modelli di machine learning, applicazioni specializzate e visualizzazione dei dati.

I marketplace dei dati centralizzano e semplificano la creazione, la cura, la gestione e la condivisione dei prodotti di dati. I marketplace dei dati aiutano a garantire la qualità dei dati e la conformità con i framework di governance integrati. Inoltre, abbattono i silos automatizzando la distribuzione dei prodotti di dati e consentendo la condivisione su larga scala di prodotti provenienti da fonti eterogenee.

Gli strumenti di AI e ML, le nuove applicazioni di AI generativa e i modelli linguistici di grandi dimensioni (LLM) aiutano a elevare le pratiche di data intelligence oltre la tradizionale gestione dei dati. Che si tratti di soluzioni autonome o integrate in altri strumenti, AI e ML possono automatizzare l'arricchimento di dati e metadati, semplificare il data mining e consentire una gestione avanzata dei dati con l'AI.

Ad esempio, un LLM integrato può generare e aggiornare automaticamente i metadati in un catalogo, fornendo spiegazioni più intuitive per rendere i dati più accessibili a più stakeholder. Le interfacce in linguaggio naturale basate sugli LLM consentono agli utenti di interrogare i set di dati e visualizzare gli insight senza dover utilizzare un linguaggio di interrogazione strutturato (SQL) o altri linguaggi specializzati.

Gli strumenti di AI possono anche aiutare a far rispettare le politiche di governance e i controlli di qualità, ad esempio scoprendo e classificando dati sensibili o identificando set di dati duplicati.  

I data lake, i data warehouse e i data lakehouse sono soluzioni di gestione dei dati e storage con caratteristiche e funzioni diverse.

• I data warehouse raccolgono, puliscono e preparano i dati in modo che possano essere utilizzati per le attività di business intelligence e analytics dei dati.  

• I data lake memorizzano grandi quantità di dati non elaborati a basso costo.  

• I data lakehouse combinano il data storage flessibile dei data lake e le funzionalità di analytics ad alte prestazioni di un data warehouse in un'unica soluzione.

Warehouse, lake e lakehouse supportano gli sforzi di integrazione dei dati consentendo alle organizzazioni di riunire dati provenienti da diverse fonti in piaghe centralizzate. Inoltre, facilitano l'accesso e l'utilizzo di tali dati per applicazioni di analytics, BI, AI, ML e data science.

La data intelligence aiuta le organizzazioni a:

• Comprendere i propri dati attraverso cataloghi dati completi, strumenti di data lineage e gestione attiva dei metadati. 

• Facilitare l'accesso ai dati attraverso cataloghi ricercabili, archivi integrati e hub di prodotti di dati centralizzati. 

• Garantire la qualità dei dati attraverso metadati, profilazione e pulizia dei dati aggiornati automaticamente.

• Guidare l'utilizzo dei dati attraverso politiche di governance definite e hub di prodotti di dati che ospitano asset accurati per usi specifici.

Di conseguenza, le organizzazioni possono ottenere vantaggi come:  

La data intelligence promuove l'alfabetizzazione dei dati e abilita l'analytics self-service fornendo agli utenti gli insight di cui hanno bisogno per comprendere e utilizzare i dati aziendali. Gli stakeholder a tutti i livelli e in tutti i ruoli possono utilizzare i dati per prendere decisioni più informate.

IBM Data Differentiator riporta che l'82% delle aziende presenta silo di dati che ostacolano i workflow chiave. La data intelligence aiuta a eliminare questi silo e a ridurre la complessità dell'infrastruttura dei dati attraverso cataloghi di dati centralizzati e unificati e marketplace.

Gli utenti di tutta l'organizzazione possono trovare i dati giusti per i loro scopi, semplificando l'efficienza operativa e promuovendo la collaborazione.

Secondo Gartner, le organizzazioni perdono in media 12,9 milioni di dollari a causa della scarsa qualità dei dati.² Attraverso la derivazione r la profilazione dei dati e gli sforzi di governance, la data intelligence mantiene alti livelli di qualità dei dati in modo che le organizzazioni possano ottenere più valore dai propri dati.

La data intelligence integra i framework nei principali punti di accesso ai dati, come i cataloghi di dati e i marketplace. Questo aiuta a garantire che i consumatori di dati utilizzino i dati solo per scopi autorizzati, proteggendoli da hacking, furto, uso improprio e non conformità. La governance è particolarmente importante per i settori altamente regolamentati come la finanza e l'assistenza sanitaria.

Secondo l'IBM Institute for Business Value, il 72% dei CEO di alto livello è d'accordo sul fatto che disporre degli strumenti di AI generativa più avanzati dia all'organizzazione un vantaggio competitivo. Ma un'AI generativa avanzata richiede enormi quantità di dati di alta qualità e facilmente accessibili.

La data intelligence aiuta a migliorare la qualità dei dati, a facilitare l'accesso e ad applicare le politiche di governance per garantire che i dati vengano utilizzati solo per gli scopi giusti, una parte fondamentale dell'AI responsabile. 

Un caso d'uso particolare per la data intelligence è l'ambito dell'intelligence dei modelli AI. L'intelligence dei modelli è la pratica di comprendere, gestire e governare i cicli di vita dei vari modelli di AI e ML nel portafoglio di un'organizzazione.

Piuttosto che affidarsi a un unico modello, molte organizzazioni oggi utilizzano vari modelli per fini diversi. Le iniziative di data intelligence offrono alle organizzazioni la trasparenza di cui hanno bisogno per selezionare i dati giusti, per i modelli giusti e per i motivi giusti.  

In particolare, la data intelligence può aiutare le organizzazioni a selezionare i dati giusti sia in termini di governance (questi dati sono autorizzati per l'uso in questo modello?) che di adeguatezza (questi dati sono sufficientemente accurati e pertinenti per questo modello?)

Inoltre, molti fornitori stanno incorporando funzioni di gestione dei modelli nelle loro offerte di data intelligence. Ad esempio, alcuni cataloghi di dati stanno introducendo funzionalità di catalogo dei modelli che consentono di inventariare i modelli AI e ML di un'organizzazione AI nello stesso modo in cui inventariano i dati aziendali. 

La data intelligence è un modo per comprendere i dati di cui dispone un'organizzazione: le caratteristiche che lo definiscono, come accedervi e come utilizzarli. L'analytics dei dati, la data science e la business intelligence sono alcuni dei modi in cui questi dati vengono utilizzati.

• L'analytics estrae insight fruibili dai dati per prendere decisioni migliori. L'analisi dei dati può assumere molte forme, come l'analytics predittiva, che utilizza i dati per fare previsioni sul futuro, e le analisi prescrittive, che utilizza i dati per determinare cosa fare dopo.

• La data science è una disciplina specializzata che combina matematica, statistica, programmazione, analytics, AI, ML e competenze in materia.  

• La business intelligence (BI) si riferisce agli strumenti e alle tecniche utilizzate dalle persone per raccogliere, gestire e analizzare i dati per informare le operazioni aziendali.

La data intelligence agevola l'analytics dei dati, la data science e la BI, aiutando gli utenti a comprendere e utilizzare meglio i set di dati delle loro organizzazioni. Quando gli utenti sanno di che tipo di dati dispone l'organizzazione e per cosa possono essere utilizzati, possono collegarsi più facilmente con i set di dati giusti per i loro scopi.  

Ad esempio, i data scientist possono trovare dati conformi e di alta qualità per addestrare algoritmi di machine learning, mentre gli utenti di BI possono trovare set di dati curati su misura per i loro domini specifici.