Le pipeline di dati tradizionali orientate ai batch spesso faticano a supportare i moderni workflow AI. Non hanno le funzionalità per fornire costantemente dati governati a bassa latenza e sono spesso limitati nella loro scalabilità a causa di architetture fragili.
Le aziende di oggi ne sentono l'impatto. In un sondaggio del 2025 tra i chief data officer condotto dall'IBM® Institute for Business Value (IBV), solo il 26% ha dichiarato di credere che le proprie funzionalità dati possano alimentare flussi di ricavi abilitati dall'AI.
Le moderne pipeline di dati AI sono progettate per inserire ed elaborare rapidamente volumi di dati grandi e diversificati per supportare le richieste di aggiornamento dei dati da parte dell'AI. Arricchiscono inoltre i dati con metadati, lineage, definizioni aziendali e regole di governance, così che i modelli AI possano interpretare i dati in modo sicuro ed efficace. I dati vengono in genere memorizzati in architetture scalabili e distribuite progettate per facilitare l'accesso ai dati ad alta velocità.
Gli strumenti di AI e l'agentic AI data engineering possono aiutare ad accelerare e semplificare i processi chiave nelle pipeline di dati AI: in altre parole, le organizzazioni possono utilizzare l'AI per contribuire a rendere operativa e ottimizzare l'AI stessa.
Le pipeline di dati tradizionali erano progettate per l'elaborazione e l'archiviazione di dati strutturati, spesso attraverso carichi di lavoro prevedibili programmati per l'elaborazione batch a intervalli di routine. I dati venivano in genere estratti dai sistemi sorgente e caricati nei data warehouse per l'analisi tramite processi di estrazione, trasformazione e caricamento (ETL) (a volte indicati come pipeline ETL). È un approccio che ha funzionato (e continua a funzionare) bene per lavori trattamento dei dati non sensibili al tempo e per set di dati organizzati in database relazionali.
L'elaborazione batch, in particolare, ha permesso alle organizzazioni di ottimizzare l'uso delle risorse stallando i job durante periodi comodi — come durante la notte, quando i sistemi difficilmente saranno sovraccaricati. Quando i lavori erano completati, i risultati potevano essere inseriti nelle dashboard e utilizzati per informare le decisioni aziendali, ben dopo la raccolta e l'ingestione dei dati.
Ma i dati per i workload di AI richiedono un approccio decisamente diverso che le pipeline tradizionali spesso non sono in grado di implementare. L'architettura della pipeline tradizionale fatica a soddisfare:
Inoltre, storicamente le pipeline tradizionali si sono dimostrate rigide e fragili. Cambiamenti inaspettati a monte—come una modifica dello schema o una colonna rinominata—possono causare guasti della pipeline e innescare ore di debug.
Nel frattempo, la logica codificata all'interno delle pipeline tradizionali rende la loro modifica un processo arduo, rendendo difficile fornire la scalabilità e la personalizzazione richieste dalle iniziative di AI trasformativa. Quando le esigenze cambiano, i data engineer spesso preferiscono costruire nuove pipeline di dati invece di adattare quelle esistenti per paura di romperle, con conseguente proliferazione delle pipeline e debito tecnico.
Nel caso in cui le pipeline tradizionali vengano utilizzate per consegnare dati ai modelli AI, la stagnazione dei dati, la scarsa qualità dei dati e altri problemi possono ostacolare le prestazioni.
Resta al passo con le tendenze più importanti e interessanti del settore relative ad AI, automazione, dati e oltre con la newsletter Think. Leggi l' Informativa sulla privacy IBM.
Come hanno scritto i ricercatori dell'IBM Institute for Business Value in un report del 2025: "La preparazione all'AI non si limita alla disponibilità di dati puliti. Richiede un'architettura che renda disponibili dati di alta qualità dove e quando l'AI ne ha bisogno".
Le pipeline di dati AI forniscono quell'architettura, con funzionalità e caratteristiche su misura per le esigenze dei modelli AI e delle applicazioni basate su AI. Le pipeline di dati AI possono inserire informazioni da una varietà di fonti di dati. Una volta acquisiti i dati, le pipeline adottano spesso un approccio "shift left", elaborando i dati più vicino alla fonte, riducendo la latenza e garantendo la freschezza dei dati.
Oltre ad accelerare i flussi di dati, le pipeline di dati AI ampliano anche la gamma di dati disponibili grazie alla loro capacità di integrare dati non strutturati. I dati non strutturati costituiscono la maggior parte dei dati generati dalle imprese e rappresentano una ricca fonte di insight attuabili/fruibili, ma un tempo erano in gran parte inaccessibili per l'analisi e i casi d'uso dell'AI.
Nelle pipeline di dati per l'AI, i dati non strutturati vengono trasformati in rappresentazioni vettoriali in grado di alimentare modelli di AI generativa e retrieval augmented generation.
Il framework di una pipeline dati AI presenta numerose somiglianze con le pipeline dati tradizionali. Tuttavia, una pipeline dati di AI si distingue perché ingests, integra, arricchisce e memorizza dati in modi pensati per ottimizzare l'addestramento e le prestazioni dei modelli AI.
I pipeline di dati AI si connettono e inseriscono dati non elaborati, inclusi dati non strutturati e dati in tempo reale, da una serie di fonti. Queste fonti possono includere event streams, API e applicazioni e derivare da numerosi ambienti, inclusi ambienti on-premise e hybrid cloud. Le piattaforme di event streaming come Apache Kafka consentono una distribuzione a bassa latenza e ad alta velocità per le pipeline di dati AI.
Durante la fase di preelaborazione dei dati, questi vengono integrati e trasformati per renderli utilizzabili dall'AI, indipendentemente dal formato originale, dal tipo di dati o dalla fonte. La natura della trasformazione dei dati in una pipeline di dati per l'AI può variare a seconda dello stile e del processo di Integrazione dei dati.
L'integrazione dei dati in streaming può trasformare i dati in tempo reale—ad esempio, le letture dei sensori dell'Internet of Things (IoT)—mentre quei nuovi dati sono in movimento, permettendo un utilizzo immediato da parte di applicazioni basate sull'AI. L'integrazione per dati non strutturati utilizza funzionalità come l'estrazione di testo e la pulizia dei dati per trasformare dati diversi, rendendoli disponibili per casi d'uso dell'AI tramite l'incorporamento vettoriale e lo storage di database vettoriali .
L'ingegneria delle caratteristiche può essere considerata un tipo di trasformazione dei dati, ma il suo scopo è più rigidamente definito: si riferisce alla conversione di dati grezzi in un formato leggibile da macchina per l'uso da parte di modelli di apprendimento automatico . Prima dell'addestramento del modello, l'ingegneria delle caratteristiche consiste nella selezione degli aspetti dei dati più rilevanti per il tipo di modello addestrato e per il compito per cui viene addestrato.
L'ingegneria delle caratteristiche può essere un'attività manuale intrapresa dai data scientist, sebbene siano in corso anche ricerche sull'ingegneria delle caratteristiche automatizzata.1
Dopo che un set di dati è stato trasformato sia attraverso metodi tradizionali che con l'ingegneria delle caratteristiche, spesso viene suddiviso in tre insiemi: uno per l'addestramento, uno per l'adattamento (regolazione dei parametri dell'algoritmo) e uno per il testing. L'esecuzione del modello su questi tre set è un processo iterativo che continua fino a quando il modello non soddisfa uno standard di precisione o utilità. Le pipeline di dati per l'AI possono anche fornire nuovi dati ai modelli per il riaddestramento, se necessario.
La preparazione dei set di dati di addestramento può includere anche l'annotazione, ovvero il processo di aggiunta di etichette significative ai dati non elaborati, a seconda del tipo di addestramento del modello. Ad esempio, i modelli linguistici di grandi dimensioni (LLM) vengono inizialmente addestrati su dati non etichettati ma, in seguito, possono anche essere ottimizzati su set di dati etichettati.
L'archiviazione dati nelle pipeline di dati AI è progettata per grandi dataset, accesso ai dati ad alta velocità e pesanti requisiti di calcolo. Utilizza architetture scalabili, tra cui Object Storage e file system paralleli, che elaborano i dati contemporaneamente su più nodi. Questa funzionalità consente alle applicazioni AI di gestire rapidamente i dati in tempo reale.
Lo storage per AI fornisce l'accesso a fonti di dati eterogenee, inclusi ambienti basati su cloud ed edge. I repository di archiviazione per i dati di AI possono includere data warehouse, data lake e data lakehouse. Poiché tali repository presentano caratteristiche diverse, molte architetture di dati aziendali includono due o tutti e tre i tipi.
Dopo l'implementazione del modello addestrato, le pipeline di dati dell'AI consegnano dati utilizzati per l'inferenza—utilizzando schemi appresi dal modello dai dati di addestramento per prevedere l'output corretto, basato sui nuovi dati, per casi d'uso reali.
I tipi di inferenza includono l'inferenza online (in tempo reale) e l'inferenza batch. Nell'inferenza online, i dati vengono inseriti immediatamente per supportare decisioni in tempo reale. Nell'inferenza in batch, i modelli elaborano grandi volumi di dati in modo asincrono in gruppi (o batch) a orari programmati; è un'opzione a basso costo quando la tempestività non è una priorità.
L'ingegneria del contesto è il processo di strutturazione e ottimizzazione del contesto fornito ai modelli AI affinché possano interpretare meglio i dati che ricevono. Si svolge attraverso diverse fasi della pipeline dati di AI e include la definizione di modelli semantici, l'arricchimento dei metadati, la standardizzazione delle definizioni aziendali e la mappatura delle relazioni tra entità tra i sistemi.2
La governance dei dati è una disciplina di gestione dei dati che si concentra sulla qualità, sicurezza e disponibilità dei dati. Implica la definizione di controlli di accesso, politiche e tracciamento del lineage tra i dati e i workload dell'AI. Gli strumenti di observability possono rilevare distorsioni nei dati, anomalie e altri problemi che influiscono sulle prestazioni del modello e che potrebbero richiedere un nuovo addestramento o una ricalibrazione del modello stesso.
L'agentic AI data engineering è l'implementazione di agenti AI allo scopo di migliorare e accelerare la creazione e la manutenzione di sistemi che aggregano e analizzano i dati, ovvero le pipeline di dati.
Le aziende sfruttano sempre più gli agenti AI per ottimizzare la consegna dei dati ai modelli AI, migliorando al contempo la produttività dei team di ingegneria dei dati. Gli agenti AI possono:
Gartner prevede che entro il 2027 l'uso di assistenti AI e workflow potenziati dall'AI all'interno degli strumenti di integrazione dei dati ridurrà lo sforzo manuale del 60%.3
Le pipeline di dati AI ottimizzano i dati per le iniziative di AI, offrendo al contempo benefici più ampi all'azienda. Ecco come:
Le pipeline di dati AI possono automatizzare la profilazione e la convalida dei dati, contribuendo a garantire che i set di dati soddisfino le metriche di qualità dei dati richieste per i sistemi AI performanti.
Le pipeline di dati AI con integrazione dei dati in streaming consentono l'analisi immediata dei dati in tempo reale per ottenere insight istantanei basati sui dati.
La contestualizzazione che avviene nei flussi di dati AI migliora l'interpretazione dei dati da parte dei modelli AI, consentendo analytics e insight di qualità superiore.
Collegandosi a una serie di fonti di dati e integrando vari formati di dati, le pipeline di dati AI possono abbattere i silo di dati e creare piattaforme di dati unificate.
Il monitoraggio continuo del modello e la governance dei dati possono garantire che i dati sensibili siano conformi alle leggi sulla privacy dei dati.
Le pipeline di dati AI sono progettate per elaborare enormi quantità di dati, permettendo alle imprese di accogliere volumi di dati in crescita. Inoltre, gli agenti AI possono essere utilizzati per adattare le pipeline per una maggiore personalizzazione, riducendo la necessità di creare nuove pipeline quando le esigenze di dati cambiano man mano che i casi d'uso dell'AI si evolvono.
Gli agenti AI possono rendere le pipeline di dati adattabili e "auto-riparanti", ovvero possono rilevare e risolvere i problemi prima che interrompano i processi a valle.
Grazie ai workflow agentici, le pipeline di dati AI possono essere più accessibili agli utenti rispetto alle pipeline tradizionali. Gli utenti senza una vasta esperienza di codifica, ad esempio, possono utilizzare prompt in linguaggio naturale per generare codici Python per elaborare documenti e implementare pipeline.4
La progettazione di pipeline basata su Agente AI e l'automazione dei componenti delle pipeline riducono al minimo il tempo che gli ingegneri dei dati dedicano ad attività ripetitive, consentendo loro di concentrarsi su lavori a maggior valore aggiunto.
Le pipeline di dati AI sono preziose per qualsiasi azienda che utilizza i workload AI per i risultati aziendali.
Lo streaming dei dati e il machine learning possono favorire un rilevamento rapido e accurato delle frodi. Una rete neurale, che è un tipo di modello di machine learning, può monitorare le transazioni in arrivo, analizzare i dati e segnalare comportamenti fraudolenti.
L'analisi dei dati in tempo reale basata sull'intelligenza artificiale può favorire esperienze dei clienti rapide e personalizzate. Ad esempio, il monitoraggio dell'attività di navigazione di un cliente su un sito web può consentire consigli personalizzati istantanei sui prodotti.
Organizzando i dati in embedding vettoriali, le pipeline di dati AI potenziano la RAG, che recupera informazioni dai database vettoriali. La RAG, a sua volta, aiuta le applicazioni di gen AI a generare output accurati e aggiornati basati su dati appena recuperati.
Crea e gestisci pipeline di dati intelligenti in streaming attraverso un'interfaccia grafica intuitiva, che facilita la perfetta integrazione dei dati in ambienti ibridi e multicloud.
Watsonx.data ti consente di scalare analytics e AI con tutti i tuoi dati, ovunque risiedano, attraverso uno storage dei dati aperto, ibrido e governato.
Sblocca il valore dei dati enterprise con IBM Consulting, creando un'organizzazione basata su insight in grado di generare vantaggi aziendali.
1 "Performance evaluation of automated data-driven feature extraction and selection methods for practical and scalable building energy consumption prediction models." Journal of Building Engineering. 1º giugno 2025.
2 “Context Engineering: The Missing Infrastructure Layer for Enterprise AI Agents.” IBM. 2026.
3 Magic Quadrant for Data Integration Tools. Gartner. 8 dicembre 2025.
4. "Building data pipelines using natural language with Data Prep Kit (DPK)." IBM. 13 maggio 2025.
