Strategia di architettura dei dati per la qualità dei dati

La scarsa qualità dei dati è uno dei principali ostacoli che devono affrontare le organizzazioni che aspirano a basarsi maggiormente sui dati. Infatti, possono derivarne problemi quali decisioni aziendali sbagliate e processi aziendali basati su informazioni errate, opportunità di guadagno mancate, iniziative aziendali fallite e sistemi di dati complessi. Anche uno solo di questi problemi può risultare costoso per un'organizzazione. Tutti insieme possono avere conseguenze disastrose.

Diversi fattori determinano la qualità dei dati aziendali, come accuratezza, completezza, coerenza, solo per citarne alcuni. Ma c'è un altro fattore di qualità dei dati che non riceve il riconoscimento che merita: l'architettura dei dati.

La giusta architettura dei dati può aiutare la tua organizzazione a migliorare la qualità dei dati perché fornisce il framework che determina come i dati vengono raccolti, trasportati, memorizzati, protetti, utilizzati e condivisi per casi d'uso di business intelligence e data science.

La prima generazione di architetture dati rappresentata da data warehouse aziendali e piattaforme di business intelligence è stata caratterizzata da migliaia di lavori, tabelle e report ETL che solo un piccolo gruppo di ingegneri dati specializzati comprendeva, con un impatto positivo non pienamente realizzato per l'azienda. La nuova generazione di piattaforme big data e i lavori batch di lunga durata, gestiti da un team centrale di ingegneri dati, hanno spesso portato a data lake inutilizzabili.

Entrambi gli approcci erano tipicamente architetture monolitiche e centralizzate, organizzate attorno a funzioni meccaniche di acquisizione, elaborazione, pulizia, aggregazione e distribuzione dei dati. Ciò ha creato una serie di colli di bottiglia organizzativi e tecnologici che impediscono l'Integrazione e la scalabilità dei dati lungo diverse dimensioni: il cambiamento costante del panorama dei dati, la proliferazione delle fonti di dati e dei consumatori di dati, la diversità di trasformazione e trattamento dei dati richiesta dai caso d'uso e la velocità di risposta al cambiamento.

Un'architettura data moderna come Data Mesh e Data Fabric mira a collegare facilmente nuove fonti di dati e ad accelerare lo sviluppo di pipeline di dati specifiche per casi d'uso in ambienti on-premise, ibridi e multicloud. In combinazione con una gestione efficace del ciclo di vita dei dati, che si evolve nella gestione dei dati come prodotto, un'architettura dati moderna può consentire alla tua organizzazione di:

• mettere gli amministratori dei dati nella condizione di garantire la conformità, la protezione e la sicurezza dei dati;
• aumentare la fiducia nei dati ottenendo visibilità sulla loro provenienza, su come sono cambiati e su chi li utilizza;
• monitorare e identificare i problemi di qualità dei dati più vicini alla fonte per mitigare il potenziale impatto sui processi o workload a valle;
• adottare in modo efficiente piattaforme dati e nuove tecnologie per una gestione efficace dei dati;
• applicare i metadati per contestualizzare i dati esistenti e nuovi e renderli ricercabili e scopribili.
• eseguire la profilazione dei dati (il processo di esame, analisi e creazione di riepiloghi di set di dati);
• ridurre la duplicazione e la frammentazione dei dati.

Poiché l'architettura dei dati determina il modo in cui sono strutturati gli asset di dati e le risorse di gestione dei dati, gioca un ruolo fondamentale per l'efficacia della tua organizzazione nello svolgere questi compiti. Significa che l'architettura dei dati è un elemento fondamentale della strategia aziendale per una migliore qualità dei dati. Le funzionalità critiche delle moderne soluzioni di gestione della qualità dei dati di alta qualità richiedono all'organizzazione di:

• applicare la governance dei dati in un'organizzazione potenziando i processi manuali di qualità dei dati con metadati e tecnologie AI (link esterno a ibm.com);
• eseguire il monitoraggio della qualità dei dati basandosi su regole predefinite;
• creare la linea di data modeling per eseguire l'analisi della causa principale dei problemi di qualità dei dati;
• rendere il valore di un set di dati immediatamente comprensibile;
• applicare una corretta igiene dei dati su tutte le interfacce.

Una strategia dati può aiutare i data architect a creare e implementare un'architettura dei dati che ne migliori la qualità. I passaggi per sviluppare una strategia dati efficace includono:

Ad esempio, un'istituzione finanziaria potrebbe cercare di migliorare la conformità normativa, ridurre i costi e aumentare i ricavi. Gli stakeholder possono identificare i casi d'uso aziendali per determinati tipi di dati, ad esempio l'esecuzione di analytics dei dati in tempo reale così come vengono acquisiti per automatizzare il processo decisionale e ridurre i costi.

Questa fase comprende l'identificazione e la catalogazione di tutti i dati dell'organizzazione in un inventario centralizzato o federato, eliminando così i silos. L'elenco deve specificare dove risiede ciascun set di dati e quali applicazioni e casi d'uso si basano su di esso. Successivamente, seleziona i dati necessari per i tuoi casi d'uso chiave e dai priorità ai domini dati che li includono.

Una convenzione di denominazione e un formato dati allineato (classi dati) per i dati utilizzati in tutta l'organizzazione aiutano a garantire la coerenza e l'interoperabilità dei dati tra dipartimenti (domini) e casi d'uso.

Decidi le modifiche che ottimizzeranno i tuoi dati per raggiungere i tuoi obiettivi aziendali. Investigare i diversi tipi di architetture dei dati moderne, come Data Fabric e Data Mesh può aiutarti a decidere la struttura di dati più adatta alle tue esigenze aziendali.

Crea KPI e utilizza analytics avanzati che collegano la misura del successo della tua architettura alla sua efficacia nel supportare la qualità dei dati.

Le aziende possono sviluppare un piano di lancio per implementare l'architettura e la governance dei dati in tre o quattro domini di dati per trimestre.

Un'architettura dei dati ben progettata crea una base per la qualità dei dati attraverso la trasparenza e la standardizzazione che inquadra il modo in cui la tua organizzazione visualizza, utilizza e parla dei dati.

Come già accennato, un Data Fabric è una di queste architetture. Un Data Fabric automatizza la data discovery, la governance e la gestione della qualità dei dati e semplifica l'accesso self-service ai dati distribuiti in un ambiente cloud ibrido. Può includere le applicazioni che generano e utilizzano dati, così come numerosi repository di data storage come data warehouse, data lake (che immagazzinano grandi quantità di big data), database NoSQL (che conservano dati non strutturati) e database relazionali che utilizzano SQL.

Scopri di più sui benefici di Data Fabric e IBM Cloud Pak for Data.