Le dimensioni della qualità dei dati forniscono un approccio strutturato per misurare la qualità dei dati e valutare l'affidabilità e l'usabilità dei dati.
Le sei dimensioni fondamentali (accuratezza, completezza, coerenza, tempestività, validità e unicità) aiutano le organizzazioni a mantenere l'integrità dei dati, valutare la correttezza degli elementi e prevenire problemi di qualità dei dati.
Il concetto di dimensioni della qualità dei dati è stato formalizzato nel 1996 dai professori Richard Y. Wang e Diane M. Strong nel loro articolo "Beyond Accuracy: What Data Quality Means to Data Consumers,” 1 che originariamente identificava 15 dimensioni. Il concetto si è evoluto significativamente senza uno standard universale. Tuttavia, tra sei e dodici dimensioni fondamentali restano le più adottate nella pratica.
Un aspetto cruciale delle strategie di gestione dei dati, le dimensioni della qualità dei dati forniscono alle aziende un framework chiaro per ottenere dati di alta qualità. Garantendo che i dati soddisfino gli standard di accuratezza, completezza, coerenza e altre dimensioni, le organizzazioni possono ridurre le inefficienze operative, migliorare la soddisfazione del cliente e mantenere la conformità normativa.
Dati di alta qualità supportano anche iniziative avanzate come la modellazione predittiva, l’innovazione dell’nell'intelligenza artificiale (AI) e i servizi personalizzati, contribuendo al miglioramento delle prestazioni e al vantaggio competitivo.
Anche se il numero di dimensioni riconosciute della qualità dei dati varia, sei dimensioni fondamentali continuano ad essere ampiamente adottate in tutti i settori. Ogni dimensione affronta un aspetto specifico della qualità dei dati e fornisce criteri pratici per valutare l'affidabilità e l'usabilità. Queste dimensioni servono anche come base per definire le metriche di qualità dei dati, che le organizzazioni utilizzano per misurare e monitorare le prestazioni nel tempo. Le dimensioni fondamentali includono:
L'accuratezza misura quanto bene i dati rappresentano entità o eventi reali e se possono essere convalidati rispetto a fonti affidabili. Dati accurati garantiscono che le decisioni aziendali si basino su informazioni corrette, riducendo il rischio di errori e inefficienze. Ad esempio, la registrazione di livelli di inventario accurati consente alle aziende di prendere decisioni informate sul rifornimento delle scorte.
Oltre ai benefici operativi, l'accuratezza dei dati è critica per iniziative strategiche come l'analytics predittiva e la segmentazione dei clienti. Le imprecisioni nei dati possono portare a previsioni errate, campagne di marketing disallineate e rischi di conformità. Le aziende possono investire in strumenti di convalida dei dati, audit periodici e formazione dei dipendenti per ridurre al minimo l'errore umano e mantenere la fiducia nei loro asset di dati.
La completezza si concentra sul fatto che tutti i valori di dati richiesti siano presenti e popolati. I dati mancanti possono portare ad analytics inaffidabili e decisioni errate. Ad esempio, un record del paziente che manca di campi critici come la data di nascita o l'anamnesi può compromettere l'aderenza alle cure e alle normative.
Valori di dati incompleti spesso indicano debolezze nei processi di raccolta dei dati o nell’integrazione dei sistemi. Per affrontare questo problema, le organizzazioni possono implementare avvisi automatici per i campi mancanti, utilizzare fonti di dati di terze parti per l'arricchimento, monitorare i processi di inserimento dei dati e stabilire policy di governance dei dati che definiscono la responsabilità per la completezza dei dati.
Resta al passo con le tendenze più importanti e interessanti del settore relative ad AI, automazione, dati e oltre con la newsletter Think. Leggi l' Informativa sulla privacy IBM.
Mantenere la coerenza dei dati tra i sistemi e le fonti è importante per ottenere dati affidabili. Dati incoerenti, come il numero di telefono di un cliente che differisce tra i sistemi di Customer Relationship Management (CRM) e Order Management, possono creare confusione, duplicazione del lavoro e altri problemi.
La coerenza dei dati riveste inoltre un ruolo fondamentale nella conformità normativa e nell’accuratezza della reportistica. Le discrepanze tra i sistemi possono portare a errori di audit o a interpretazioni errate dei risultati finanziari. I framework di governance dei dati centralizzati e gli strumenti di integrazione dei dati aiutano i reparti aziendali a lavorare con gli stessi dati, riducendo il rischio di errori.
La tempestività misura se i dati sono disponibili quando necessario e se riflettono la situazione più attuale. Dati obsoleti o in ritardo potrebbero significare opportunità mancate e inefficienze operative.
La tempestività è sempre più importante in settori in rapida evoluzione come finance, sanità ed e-commerce, dove le decisioni devono essere prese immediatamente. Ad esempio, gli aggiornamenti dei prezzi delle azioni in tempo reale nel trading finanziario sono essenziali per eseguire decisioni tempestive di acquisto o vendita.
Le organizzazioni possono garantire la tempestività programmando aggiornamenti regolari dei dati, abilitando feed in tempo reale per le operazioni critiche e monitorando la latenza nelle pipeline di dati. Inoltre, le organizzazioni possono utilizzare tecnologie come le architetture basate sui dati e la streaming analytics per mantenere la freschezza dei dati. Stabilire accordi sui livello di servizio (SLA) per la consegna dei dati aiuta inoltre a mantenere le aspettative e supporta un processo decisionale agile.
Nel contesto della qualità dei dati, la validità si riferisce alla conformità dei dati a regole, formati e standard predefiniti. Se i dati violano queste regole, vengono considerati dati non validi, il che può causare errori di processo, report imprecisi e molto altro.
Oltre alla conformità al formato, la validità garantisce che i dati siano in linea con le regole logiche e contestuali. Ad esempio, una data di nascita non dovrebbe essere futura e i codici prodotto dovrebbero corrispondere alle specifiche del catalogo. Le organizzazioni fanno rispettare la validità applicando regole durante l'inserimento dei dati, utilizzando strumenti automatizzati di rilevamento delle anomalie e allineando gli standard alle normative del settore.
L'unicità determina se ogni record è distinto e non duplicato. Mantenere l'unicità non solo migliora l'accuratezza dei report, ma migliora anche l'efficienza operativa e la fiducia dei clienti, confermando che le interazioni si basano su informazioni non ridondanti. I record duplicati possono causare problemi come metriche gonfiate, analisi distorte, spreco di risorse e ritardi nel servizio.
I dati duplicati spesso derivano da migrazioni di sistema, errori di inserimento manuale o mancanza di integrazione tra le piattaforme. Per mitigare questo problema, le organizzazioni possono implementare algoritmi di corrispondenza dei dati, applicare rigorose politiche di identità (regole che definiscono come vengono generati gli ID utente univoci durante la creazione dell'account) 2 e utilizzare dashboard di qualità dei dati per monitorare le tendenze di duplicazione.
Oltre a queste sei dimensioni, altre dimensioni prese in considerazione includono integrità, tracciabilità, disponibilità, affidabilità, precisione e rilevanza, a seconda delle esigenze aziendali.
In quanto elementi fondamentali della qualità dei dati, le dimensioni della qualità dei dati aiutano le organizzazioni a quantificare, verificare, monitorare e migliorare l’affidabilità e la fiducia degli asset di informazioni.
Dati di bassa qualità come set di dati con valori mancanti, duplicati o informazioni obsolete possono portare a modelli distorti, insight errati e risultati inaffidabili, con conseguenti perdite finanziarie importanti. Di fatto, oltre il 25% dei professionisti globali dei dati e dell'analytics afferma che la scarsa qualità dei dati ostacola l'alfabetizzazione dei dati, costando alle loro organizzazioni oltre 5 milioni di dollari all’anno. Il 7% riporta perdite pari a 25 milioni di USD o più, secondo Forrester.
Nell'era dell'AI e del machine learning, le dimensioni della qualità dei dati sono diventate indispensabili. I workflow di agentic AI stanno accelerando verso l'adozione di massa e il loro successo dipenderà dall'integrità e precisione dei dati sottostanti.
Un recente rapporto dell'IBM Institute for Business Value, "From AI Projects to Profits", stima che i workflow dell'agentic AI dovrebbero aumentare di otto volte entro il 2026. Le organizzazioni che non danno priorità alla qualità dei dati rischiano di minare le fondamenta stesse delle loro strategie di AI, così come l'analytics, la conformità normativa e il processo decisionale, trasformando potenziali scoperte in costosi ostacoli.
Prima di implementare le dimensioni della qualità dei dati, è utile stabilire un framework per la qualità dei dati. Questo framework può combinare policy, processi e tecnologia per mantenere le dimensioni durante tutto il ciclo di vita dei dati. Successivamente, le organizzazioni implementano solitamente le dimensioni della qualità dei dati attraverso tre fasi interconnesse:
Le organizzazioni spesso iniziano valutando lo stato attuale dei propri dati per comprenderne la qualità. Gli strumenti di profilazione dei dati sono comunemente utilizzati per identificare problemi come valori mancanti, record duplicati, formati non validi e tipi di dati errati. Questa valutazione fornisce una base per il miglioramento.
L'allineamento degli stakeholder è fondamentale anche in questa fase. Diverse unità di business danno priorità a dimensioni differenti: la tempestività può essere la più importante per la real-time analytics, mentre accuratezza e validità sono critiche per la conformità.
Successivamente, la definizione dei requisiti e dei benchmark stabilisce aspettative chiare su ciò che costituisce una qualità dei dati accettabile, spesso espressa sotto forma di soglie o punteggi minimi per ciascuna dimensione. Le organizzazioni potrebbero anche definire regole di qualità dei dati, ovvero condizioni o vincoli specifici che i dati devono soddisfare per conformarsi a questi benchmark. Queste regole servono come base per i controlli di convalida e l'applicazione automatizzata in un secondo momento del processo.
La qualità dei dati viene spesso valutata utilizzando misure quantitative che indicano quanto i dati soddisfino gli standard definiti. Le metriche comuni includono completezza (percentuale di campi obbligatori popolati), accuratezza (allineamento a fonti affidabili) e coerenza (uniformità tra i sistemi). Queste metriche sono integrate nei framework e nei workflow per fornire una visibilità continua.
Il monitoraggio continuo è essenziale perché la qualità dei dati è dinamica; i cambiamenti nei sistemi di origine, nei processi o nelle business rules possono introdurre nuovi rischi. Il monitoraggio può comportare l'applicazione di regole di convalida e l'esecuzione di controlli di qualità durante tutto il ciclo di vita dei dati, dall'inserimento alla rendicontazione. Molti strumenti di qualità dei dati forniscono dashboard e avvisi utilizzati per monitorare la conformità e rilevare le anomalie in tempo reale.
Il miglioramento continuo della qualità dei dati è un principio fondamentale, supportato da audit regolari, standard aggiornati e meccanismi di feedback che si adattano alle mutevoli esigenze aziendali e ai cambiamenti tecnologici. Gli insight derivanti dalla misurazione e dal monitoraggio informano azioni correttive come la pulizia, l'arricchimento e la deduplicazione dei dati. Oltre a correggere gli errori, le organizzazioni potrebbero utilizzare questi insight per perfezionare i processi di governance e migliorare i metodi di raccolta dei dati per prevenire problemi ricorrenti.
Definire e comprendere le dimensioni della qualità dei dati offre alle organizzazioni numerosi vantaggi, tra cui:
Dati di alta qualità e accurati garantiscono che analisi e business intelligence forniscano insight in linea con le circostanze reali. Quando i processi di raccolta dei dati vengono standardizzati e convalidati tramite la valutazione della qualità dei dati, i responsabili delle decisioni aziendali possono fidarsi degli insight e agire con sicurezza.
Questa pratica riduce le ipotesi e supporta modelli predittivi che generano un vantaggio competitivo. Ad esempio, le istituzioni finanziarie si affidano a dati sulle transazioni tempestivi e accurati per prevenire le frodi e mantenere avvisi in tempo reale, mentre i produttori utilizzano dati convalidati su fornitori e inventario per evitare ritardi nella produzione.
Le dimensioni della qualità dei dati aiutano le organizzazioni a rispettare gli standard di governance interna e i requisiti normativi esterni, come audit finanziari o obblighi in ambito sanitario. Integrare i controlli di conformità nei workflow riduce al minimo i rischi legali e mantiene la trasparenza su come i dati vengono raccolti, memorizzati e utilizzati. Nel settore sanitario, ad esempio, le regole di validazione garantiscono che i dati clinici dei pazienti seguano i formati corretti per le date di nascita e i codici medici, riducendo il rischio di prescrizioni errate o rifiuti delle richieste di rimborso.
L’implementazione delle dimensioni della qualità dei dati semplifica i workflow riducendo le correzioni manuali, la gestione dei duplicati e le rilavorazioni causate da dati inaccurati o incompleti. Quando i dati sono accurati, coerenti e tempestivi, i team possono automatizzare i processi con fiducia, accelerare il processo decisionale e ridurre al minimo i colli di bottiglia operativi.
Dati dei clienti accurati, completi e coerenti, come indirizzi corretti, consentono esperienze tempestive e pertinenti che aumentano la soddisfazione del cliente, migliorando la fedeltà e la reputazione del brand. Nel settore retail, dati sui prezzi accurati tra cataloghi dei prodotti e inserzioni online evitano perdite di ricavi e insoddisfazione mentre, nei servizi pubblici, dati sincronizzati sui cittadini garantiscono l’erogazione efficiente dei sussidi.
Il rilevamento precoce delle anomalie attraverso i controlli di qualità dei dati riduce la probabilità di gravi interruzioni dell'attività. Dimensioni come integrità e tracciabilità aiutano le organizzazioni a monitorare i workflow e a identificare i problemi prima che degenerino, riducendo i rischi finanziari e reputazionali. Ad esempio, le banche utilizzano la deduplicazione e la validazione per prevenire le transazioni duplicate, mentre le agenzie di governo applicano controlli di completezza per evitare ritardi nell'erogazione di servizi critici come l'assistenza sanitaria o l'assistenza abitativa.
Crea e gestisci pipeline di dati intelligenti in streaming attraverso un'interfaccia grafica intuitiva, che facilita la perfetta integrazione dei dati in ambienti ibridi e multicloud.
Watsonx.data ti consente di scalare analytics e AI con tutti i tuoi dati, ovunque risiedano, attraverso uno storage dei dati aperto, ibrido e governato.
Sblocca il valore dei dati enterprise con IBM Consulting, creando un'organizzazione basata su insight in grado di generare vantaggi aziendali.
1 Beyond accuracy: What data quality means to data consumers, Journal of Management Information Systems, primavera 1996
2 Creating an identity policy, IBM Security Identity Manager, 13 maggio 2022
