Cos'è l'ottimizzazione dei dati?

L'ottimizzazione dei dati è il processo di miglioramento dell'organizzazione e della qualità degli set di dati per garantire l'efficienza a livello di data storage, elaborazione e analisi da parte delle aziende e di altre entità.

L'ottimizzazione dei dati comprende un'ampia gamma di tecniche di gestione dei dati. Include strategie per ottimizzare pulizia, storage, trasformazione ed elaborazione dei dati, oltre a quelle per ottimizzare le query. Ottimizzando efficacemente i dati, le organizzazioni possono sperimentare un processo decisionale più informato, stabilire operazioni aziendali meno costose e supportare iniziative di intelligenza artificiale (AI) scalabili.

Poiché le aziende si concentrano sempre più sull'ottimizzazione dei loro patrimoni di dati, molte stanno implementando soluzioni basate su AI per migliorare i processi di ottimizzazione dei dati. Queste soluzioni includono strumenti di pulizia dei dati basati su AI, software di governance e observability dei dati, soluzioni di storage hybrid cloud e piattaforme data lakehouse.

Sebbene l'accesso a dati di alta qualità e pertinenti sia sempre stato importante per l'affidabilità dell'analytics e per un processo decisionale migliore, assume un'urgenza ancora maggiore nel panorama dei dati moderno. I motivi sono tre: volume dei dati, complessità e pressione competitiva legata all'AI.

Le organizzazioni devono affrontare attualmente volumi di dati che sono ordini di grandezza superiori rispetto a quanto disponibile per gran parte della storia umana: uno studio globale del 2024 su organizzazioni di diverse dimensioni ha rilevato che quasi due terzi gestivano almeno un petabyte di dati.¹

Molti di questi dati sono big data, ovvero enormi set di dati in vari formati, tra cui dati strutturati, semi-strutturati e non strutturati. In particolare, i dati non strutturati non si adattano facilmente agli schemi fissi dei database relazionali, il che significa che gli strumenti e i metodi convenzionali in genere non possono essere utilizzati per l'analisi e l'elaborazione dei dati non strutturati.

Allo stesso tempo, le aziende sono sotto pressione per utilizzare dati AI-ready, ovvero informazioni di alta qualità, accessibili e affidabili, che le organizzazioni possono utilizzare con fiducia per l'addestramento e le iniziative di intelligenza artificiale.

Tuttavia, la maggior parte delle aziende non dispone ancora di dati AI-ready: secondo un sondaggio condotto nel 2024 dall'IBM Institute for Business Value, solo il 29% dei leader tecnologici concorda fermamente sul fatto che i propri dati aziendali soddisfino gli standard d'importanza chiave per scalare in modo efficiente l'AI generativa.²

Ottenere un valore da set di dati enormi e complessi, garantendo al contempo la prontezza dell'AI, richiede gli strumenti, l'infrastruttura e le strategie di gestione dei dati giusti. Tuttavia, le aziende non possono solitamente permettersi risorse infinite di calcolo e storage. Devono bilanciare gli sforzi per sbloccare valore con misure progettate per aumentare al massimo l'efficienza e il ritorno sugli investimenti.

L'ottimizzazione dei dati le aiuta a fare questo.

Attraverso l'ottimizzazione dei dati, le organizzazioni possono migliorare sia le prestazioni che l'efficienza dei workflow dei dati. Diverse tecniche di ottimizzazione dei dati aiutano le aziende a migliorare la qualità e l'accessibilità dei propri dati, riducendo al contempo il peso che lo storage e l'elaborazione impongono alle loro risorse e ai loro budget.

L'ottimizzazione dei dati può aiutare le organizzazioni ad affrontare le sfide a livello di budget e pipeline di dati. I benefici dell'ottimizzazione dei dati includono:

Le tecniche di ottimizzazione dei dati aiutano a migliorare l'usabilità e l'efficienza dei workload dei dati nei punti chiave del ciclo di vita dei dati, come data storage, trasformazione dei dati e utilizzo dei dati.

L'ottimizzazione del data storage include la riduzione dello spazio di storage necessario per tabelle e indici dei dati. Comprende anche strategie per utilizzare diverse opzioni di storage al fine di distribuire i dati in modo più efficiente ed economico.

• Ridurre lo spazio di storage: un approccio comune per ridurre i costi di storage e lo spazio necessario è la compressione. Questo processo utilizza algoritmi per codificare e decodificare i dati, riducendo così i bit necessari per la loro archiviazione.

• Utilizzare lo storage a più livelli: nello storage a più livelli, i dati vengono raggruppati in base ai requisiti di accesso. Le opzioni di data storage più costose, che in genere consentono un recupero più rapido, sono riservate ai dati "caldi" a cui si accede frequentemente. Nel frattempo, i dati "freschi" o "freddi", ovvero dati utilizzati meno spesso, risiedono in ambienti di storage meno costosi e che richiedono più tempo per l'accesso.

• Scegliere l'architettura di data storage: oltre a utilizzare i livelli di storage, l'organizzazione può anche scegliere uno o più metodi per ottimizzare velocità, risparmi sui costi e altri obiettivi. I tre tipi principali di sistemi di storage sono object storage, file storage e block storage, ognuno con diversi punti di forza e svantaggi.

Un significativo miglioramento della qualità dei dati si verifica durante i processi di trasformazione dei dati e pulizia dei dati eseguiti con successo.

La trasformazione dei dati è la conversione di dati non elaborati in un formato e una struttura unificati. Il primo passo della trasformazione dei dati è la pulizia dei dati. Chiamata anche data cleansing o data scrubbing, consiste nell'identificazione e nella correzione di errori e incoerenze nei set di dati.

Le tecniche chiave di pulizia dei dati includono:

• Standardizzazione: quando i dati sono rappresentati in strutture e formati diversi all'interno dello stesso set di dati, le incongruenze che ne derivano possono renderne più difficile l'utilizzo. La standardizzazione delle strutture e dei formati dei dati può aiutare a garantire l'uniformità e la compatibilità per un'analisi accurata.

• Deduplicazione dei dati: i dati duplicati o ridondanti possono distorcere l'analisi. La deduplicazione dei dati elimina i record duplicati (come quelli creati da problemi di integrazione dei dati, errori di inserimento manuale o malfunzionamenti del sistema). Oltre a migliorare la qualità dei dati, la deduplicazione dei dati può anche ridurre i costi e l'utilizzo delle risorse, poiché meno capacità di calcolo e storage vengono impiegati per i record duplicati.

• Gestire i valori mancanti: i valori mancanti possono anche distorcere l'analisi dei dati. Le tattiche adottate dai professionisti dei dati per colmare queste lacune includono la sostituzione dei valori mancanti con dati stimati o la rimozione di voci incomplete.

• Convalida dei dati: la convalida dei dati è il processo di verifica che i dati siano puliti, accurati e pronti per l'uso. Comporta l'istituzione e l'applicazione di regole aziendali e controlli di validazione dei dati, inclusi controlli su coerenza, tipo di dato, formato, intervallo e unicità.

Per affrontare la scarsa qualità dei dati nell'addestramento dei modelli di AI,i ricercatori ricorrono spesso a misure aggiuntive per migliorare la qualità dei set di dati di addestramento, inclusi data augmentation e generazione di dati sintetici.

La gestione dei metadati consiste nell'organizzazione e nell'utilizzo dei metadati per migliorare l'accessibilità e la qualità dei dati.

Esempi di metadati includono:

• Metadati descrittivi: includono informazioni di base, come titoli e parole chiave. Questo tipo di metadati aiuta le organizzazioni a migliorare la facilità di ricerca e la reperibilità dei propri dati nei cataloghi, nelle piattaforme di social media e nei motori di ricerca.

• Metadati amministrativi: comprendono la proprietà, le autorizzazioni e le policy di conservazione. Questo tipo di metadati aiuta le organizzazioni a rispettare le policy legali, normative e interne.

• Metadati di conservazione: garantiscono l'usabilità e l'accessibilità a lungo termine dei dati. Questo tipo di metadati aiuta le organizzazioni a soddisfare i requisiti estesi di conservazione dei dati, soprattutto nei settori in cui i record devono rimanere accessibili per la conformità.

L'ottimizzazione delle query velocizza l'esecuzione delle query (il recupero e la manipolazione dei dati) nei database SQL e NoSQL, riducendo al minimo l'uso di risorse come memoria e CPU. Mentre le tecniche di ottimizzazione delle query variano a seconda del tipo di database, quelle più comuni includono:

• Filtraggio: assicurati che il sistema non stia scansionando dati irrilevanti per le query.

• Aggiunta di un indice: gli indici possono preordinare le informazioni per supportare ricerche più intelligenti.

• Caching: la memorizzazione nella cache dei risultati delle query ripetitive riduce la necessità di nuovi calcoli ogni volta che la query si ripete.

• Partizionamento: durante la progettazione del database, i database possono essere suddivisi in segmenti più piccoli per query più rapide e mirate.

Scegliere il motore di query giusto e adatto allo scopo può anche essere un componente chiave dell'ottimizzazione delle query, poiché motori diversi possono essere più adatti a workload di dati differenti. Ad esempio, Presto C++ può essere utilizzato per query ad alte prestazioni e bassa latenza su set di dati di grandi dimensioni, mentre Spark funziona bene per attività complesse e distribuite.

Altre tecniche implementate per l'ottimizzazione dei dati includono elaborazione parallela (suddividere le attività di elaborazione dei dati in parti più piccole da eseguire simultaneamente su più processori), controllo degli accessi basato su regole o RBAC (limitare l'accesso ai dati sensibili, contribuendo a prevenire perdite di dati accidentali e violazioni dei dati intenzionali) e la visualizzazione dei dati (la rappresentazione grafica dei dati per facilitare l'analisi dei dati).

L'ottimizzazione dei dati può essere considerata una componente della gestione dei dati, oppure una pratica complementare. In definitiva, ciò che conta è che l'ottimizzazione dei dati consenta una gestione dei dati più efficace, migliorando la qualità e l'accessibilità dei dati gestiti.

La governance dei dati è una disciplina di gestione dei dati che contribuisce a garantire l'integrità e la sicurezza dei dati definendo e implementando policy, standard di qualità e procedure per la raccolta, la proprietà, lo storage, l'elaborazione e l'uso dei dati. In quanto tale, può supportare varie tecniche di ottimizzazione dei dati.

Ad esempio, il programma di governance dei dati di un'organizzazione può stabilire metriche di qualità dei dati per misurare i progressi verso il miglioramento della qualità dei dati e stabilire policy di conservazione dei dati che aiutino a ottimizzare il data storage.

Gli strumenti per l'ottimizzazione dei dati spaziano da soluzioni mirate a piattaforme complete, tipicamente dotate di componenti basati su AI che riducono i processi manuali e supportano l'efficienza operativa.

Gli strumenti di pulizia dei dati basati su AI possono identificare automaticamente modelli, anomalie e incongruenze nei dati di origine. I modelli AI basati su regole o appresi possono anche consolidare o eliminare i duplicati, decidendo quale record debba "sopravvivere" in base all'accuratezza, alla ricorrenza o all'affidabilità. I modelli AI possono automatizzare la creazione e l'applicazione delle regole di pulizia dei dati imparando dalle correzioni storiche e dai feedback degli utenti.

Gli strumenti di data observability consentono il monitoraggio automatizzato, l'allerta di triage, l'analisi della causa principale, il data lineage e il monitoraggio degli accordi sul livello di servizio (SLA), aiutando i professionisti a comprendere la qualità dei dati end-to-end. Questi strumenti consentono ai team di rilevare problemi quali valori mancanti, record duplicati o formati incoerenti prima che influiscano sulle dipendenze a valle, portando a una risoluzione più rapida ed efficiente dei problemi.

Gli strumenti di governance dei dati aiutano le imprese a far rispettare le policy definite dai programmi di governance dei dati, comprese quelle a supporto dell'ottimizzazione dei dati. Le funzionalità comuni delle soluzioni di governance dei dati includono la scoperta e la classificazione automatica dei dati, l'applicazione delle regole di protezione dei dati e dei controlli di accesso basati sui ruoli, oltre a funzionalità a supporto dei requisiti di conformità e privacy dei dati.

Le soluzioni hybrid cloud offrono un approccio "mix-and-match" al data storage, con piattaforme di cloud pubblico, ambienti di cloud privato e infrastrutture on-premise disponibili per aiutare le organizzazioni a memorizzare i dati in modo flessibile, scalabile e ottimizzato in termini di costi.

Le organizzazioni possono scegliere l'opzione di storage migliore e più conveniente per soddisfare le loro esigenze aziendali e trasferire i workload dei dati secondo le necessità. Gli approcci basati sul multicloud ibrido offrono ulteriore flessibilità, poiché le aziende possono utilizzare i servizi di più provider di cloud.

Un data lakehouse è una piattaforma di dati che combina il data storage flessibile dei data lake con le capacità di analytics ad alte prestazioni dei data warehouse. I data lakehouse utilizzano il cloud object storage per uno storage rapido e a basso costo su un'ampia gamma di tipi di dati.

Inoltre, la loro architettura ibrida elimina la necessità di mantenere più sistemi di data storage, rendendoli meno costosi da gestire. Le caratteristiche delle soluzioni leader includono più motori di query per un'esecuzione efficiente delle query e funzionalità integrate per la governance, la pulizia e l'observability dei dati.

Le strategie e gli strumenti di ottimizzazione dei dati possono migliorare l'efficienza e le prestazioni in una serie di campi e settori.

• Reti Internet of Things (IoT): Comprimere enormi quantità di dati raccolti dai sensori nelle reti IoT può rendere il cloud storage più efficiente.⁵

• Customer relationship management (CRM): la pulizia e la deduplicazione dei dati nei sistemi CRM possono aiutare a migliorare la gestione dei lead, la previsione delle vendite e la gestione delle comunicazioni con i clienti.

• Veicoli autonomi: il filtraggio delle immagini raccolte per l'addestramento del modello di veicolo autonomo può garantire che i dati di addestramento includano le immagini più utili, accelerando al contempo la velocità di addestramento.⁶

• Eventi sportivi: la visualizzazione dei dati può contribuire a informare e accelerare la narrazione basata sui dati e la creazione di contenuti durante gli eventi sportivi dal vivo.⁷