Che cosa sono i dark data?

Oggi, la maggior parte delle aziende memorizza grandi quantità di dark data. Nel sondaggio di ricerca globale di Splunk su oltre 1.300 responsabili delle decisioni aziendali e IT, il 60% dei rispondenti ha riferito che metà o più dei dati della propria organizzazione è considerato dark data. Un terzo dei rispondenti ha riferito che questa quantità è pari o superiore al 75%.¹

I dark data si accumulano perché le organizzazioni ritengono che sia molto importante memorizzare tutte le informazioni che possono acquisire nei big data lake. Questo è dovuto in parte all'avvento dello storage economico, che ha reso facile giustificare la memorizzazione di così tanti dati, nel caso in cui un giorno diventino preziosi.

Alla fine, la maggior parte delle aziende non utilizza nemmeno una parte di quanto memorizza, in quanto il serbatoio di storage non documenta adeguatamente le etichette dei metadati, alcuni dati sono in un formato che gli strumenti integrati non riescono a leggere oppure i dati non sono recuperabili tramite query.

I dark data sono uno dei principali fattori limitanti nella produzione di una buona analisi dei dati perché la qualità di qualsiasi analisi dei dati dipende dal corpus di informazioni accessibili agli strumenti di analisi, sia tempestivamente sia in modo completo.

Altri problemi relativi ai dark data sono che creano responsabilità, costi di storage significativi e opportunità mancate a causa del fatto che i team non si rendono conto dei dati potenzialmente disponibili per loro.

Ci sono numerose cause per cui i dati di un'organizzazione diventano oscuri, tra cui:

• Mancanza di consapevolezza: spesso i dati ottenuti durante le normali operazioni aziendali diventano dark data perché le organizzazioni non sono a conoscenza della loro esistenza o non ne comprendono il valore o la rilevanza.
  
  
• Dati bloccati in silo: quando diversi reparti all'interno di un'organizzazione raccolgono e memorizzano i dati in modo indipendente, ne può conseguire la frammentazione e l'isolamento dei dati. Questi silo di dati potrebbero non essere accessibili o visibili ad altri team, che potrebbero potenzialmente considerare i dati preziosi.
  
  
• Mancanza di governance dei dati: senza un solido framework di governance dei dati, le organizzazioni potrebbero avere difficoltà a gestire e monitorare efficacemente i dati nel loro ecosistema. Questo causa disorganizzazione, perdita e inutilizzabilità dei dati.
  
  
• Sistemi legacy: man mano che le organizzazioni aggiornano software e hardware, i sistemi più vecchi potrebbero essere dismessi o diventare meno pertinenti. I dati memorizzati in questi sistemi legacy vengono persi se non possono essere integrati con i moderni strumenti di analytics dell'organizzazione.
  
  
• Integrazione dei dati incompleta: processi di integrazione dei dati incompleti o inefficaci possono causare lacune e incongruenze nei dati. Ciò può lasciare alcuni set di dati inaccessibili o non collegati correttamente ad altre fonti di dati.
  
  
• Cambiamento delle priorità aziendali: man mano che le priorità aziendali evolvono, alcuni set di dati potrebbero diventare meno pertinenti o non essere più centrali. I dati che una volta venivano utilizzati attivamente possono diventare dark data man mano che gli obiettivi organizzativi cambiano.
  
  
• Risorse e alfabetizzazione limitate: le organizzazioni con risorse limitate potrebbero dare priorità alla raccolta e allo storage rispetto all'analisi dei dati. Inoltre, una scarsa alfabetizzazione dei dati tra i dipendenti può ostacolare la scoperta e l'utilizzo di dati preziosi.
  
  
• Problemi di qualità dei dati: una scarsa qualità dei dati, come dati imprecisi o incompleti, può portare a scartare o ignorare i dati. I dati percepiti come inaffidabili hanno meno probabilità di essere utilizzati e dunque diventano effettivamente dark data.
  
  
• Finalità di conformità normativa: molti standard di conformità e di regolamentazione costringono le organizzazioni a seguire norme rigorose sulla durata della memorizzazione dei dati sensibili. Spesso le organizzazioni finiscono per memorizzarli ben oltre il periodo obbligatorio perché non riescono a monitorare quali dati sensibili dovrebbero essere distrutti.
  
  
• Dati ridondanti, obsoleti e banali (ROT): i dati ROT si creano quando i dipendenti salvano più copie delle stesse informazioni, informazioni obsolete e informazioni estranee che non aiutano l'organizzazione a raggiungere i suoi obiettivi.

In termini di reperibilità per iniziative di analytics dei dati tempestive e complete, i dark data possono essere dati strutturati, dati non strutturati o dati semistrutturati.

I dati strutturati sono informazioni aggiunte a campi di fogli di calcolo o database chiaramente definiti, prima di essere memorizzati.

I file di log del server, i dati dei sensori dell'Internet of Things (IoT), i database di customer relationship management (CRM) e i sistemi enterprise resource planning (ERP) sono esempi di dark data creati da fonti di dati strutturati.

Sebbene la maggior parte delle forme di dati sensibili, come gli estratti conto bancari elettronici, le cartelle cliniche e i dati crittografati dei clienti, siano normalmente in forma strutturata, è difficile visualizzarli e categorizzarli a causa di problemi di autorizzazione.

A differenza dei dati strutturati, i dati non strutturati includono informazioni che non possono essere organizzate in database o fogli di calcolo per l'analisi senza conversione, codifica, suddivisione in livelli e strutturazione.

Corrispondenze e-mail, PDF, documenti di testo, post sui social, registrazioni di call center, registri delle chat e riprese video di sorveglianza sono esempi di dark data creati da fonti di dati non strutturate.

I dati semi-strutturati sono dati non strutturati che contengono alcune informazioni in campi dati definiti. Sebbene non abbiano la stessa facilità di discovery dei dark data dei dati strutturati, possono essere ricercati o catalogati.

Gli esempi includono codice HTML, fatture, grafici, tabelle e documenti XML.

I costi di memorizzazione dei dark data possono essere significativi e superare di gran lunga il costo finanziario diretto dello storage dei dark data. I costi diretti e indiretti comprendono:

A volte i dark data si generano a causa di problemi di qualità dei dati.

Ad esempio, una trascrizione da una registrazione audio viene generata automaticamente, ma l'AI che ha creato la trascrizione commette alcuni errori di trascrizione. Qualcuno però conserva la trascrizione, pensando che a un certo punto risolverà il problema, cosa che non però non accade.

Quando le organizzazioni tentano di pulire dati di scarsa qualità, a volte non individuano la causa del problema. Senza un'adeguata comprensione, è impossibile garantire che il problema della qualità dei dati non si presenti in futuro.

Questa situazione diventa quindi ciclica perché, invece di limitarsi a utilizzare politiche di cancellazione per i dark data che rimangono invariate senza mai essere utilizzate, le organizzazioni lasciano che continuino a rimanere bloccate e contribuiscono a un crescente problema di qualità dei dati.

Fortunatamente, le organizzazioni possono adottare tre misure per la gestione della qualità dei dati allo scopo di contribuire a ridurre l'impatto di questo problema:

1. Analizzare e individuare la situazione "così com'è": per attribuire priorità ai problemi, occorre individuare innanzitutto tutti i problemi attuali, gli standard dei dati già presenti e l'impatto sul business.
   
   
2. Evitare che i dati errati si ripetano: successivamente, valuta la causa principale di ogni problema e applica le risorse per affrontare il problema in modo sostenibile, affinché non si ripeta.
   
   
3. Comunica spesso: condividi cosa sta succedendo, cosa sta facendo il team, l'impatto di quel lavoro e il modo in cui tali sforzi si collegano agli obiettivi aziendali.

Nonostante i costi e i problemi di qualità dei dati legati ai dark data, vi sono anche lati positivi. Come afferma Splunk, "i dark data possono essere una delle maggiori risorse non sfruttate di un'organizzazione".²

Adottando un approccio proattivo alla gestione dei dati oscuri, le organizzazioni possono far luce sui dati oscuri. Questo non solo riduce le responsabilità e i costi, ma offre anche ai team le risorse necessarie per scoprire insight dai dati nascosti.

Quando si gestiscono i dark data e potenzialmente li si utilizza per prendere decisioni migliori basate sui dati, occorre seguire diverse best practice:

I dark data spesso si verificano a causa dei silos all'interno dell'organizzazione. Un team crea dei dati che potrebbero essere utili a un altro, ma l'altro team non ne è a conoscenza. L'abbattimento di questi silos rende i dati disponibili per il team che ne ha bisogno. Passa da una situazione di immobilismo a un'offerta di immenso valore.

È importante capire quali dati sono presenti all'interno dell'organizzazione. Questo impegno inizia con la classificazione di tutti i dati all'interno dell'organizzazione, per acquisire una visione completa e precisa, tramite un classificazione. A quel punto, i team possono iniziare a organizzare meglio i dati con l'obiettivo di rendere più agevole per gli individui di diversi team trovare e utilizzare ciò di cui hanno bisogno.

L'introduzione di una politica di governance dei dati può aiutare a migliorare la sfida a lungo termine. Questa politica dovrebbe affrontare il modo in cui tutti i dati in ingresso vengono esaminati e dare linee guida chiare su cosa debba essere conservato (e organizzato per mantenere una chiara gestione dei dati), archiviato o distrutto. Adottando questa politica è importante essere rigorosi nello stabilire quali dati devono essere distrutti e quando. L'applicazione della governance dei dati e la revisione regolare delle pratiche possono aiutare a ridurre al minimo la quantità di dark data che non sarà utilizzata.

Per aiutare a scoprire i dark data, il machine learning (ML) e l'intelligenza artificiale (AI) possono fare il lavoro pesante di categorizzazione dei dark data, eseguendo analisi sui dati che possono contenere insight preziosi. Inoltre, l'automazione dell'apprendimento automatico (ML) può aiutare a favorire il rispetto delle normative in materia di conformità della privacy dei dati, eliminando automaticamente le informazioni sensibili dai dati memorizzati.