Inserisci, trasforma e pre-elabora dati non strutturati su larga scala con watsonx.data integration
Progettato per la scalabilità, con sicurezza e conformità integrate.
Funziona insieme all'integrazione dei dati strutturati nelle attività di batch, streaming, replica e observability, al fine di eliminare l'eterogeneità degli strumenti.
Progettato per tutti i livelli di competenza, da nessun utilizzo o uso limitato di codice, fino a un SDK completo.
Crea una pipeline di integrazione dei dati non strutturati in meno di due minuti
In modo simile alla tradizionale modalità di estrazione, trasformazione e caricamento (ETL) per l'integrazione dei dati strutturati, questa nuova tecnologia applica il processo ai dati non strutturati.
Indipendentemente dal livello di competenza, gli utenti possono utilizzare al meglio un'interfaccia utente intuitiva e connettori predefiniti per inserire tipi di file non strutturati di uso comune da una varietà di fonti. Per gli utenti più tecnici, la piattaforma è completamente estendibile attraverso un SDK completo.
Per la fase di trasformazione, la funzionalità fornisce operatori di qualità precostituiti per gestire funzioni come l'estrazione del testo e la deduplica. Vengono anche rimossi contenuti sensibili come informazioni di identificazione personale (PII) e odio, linguaggio offensivo e blasfemia (HAP). Queste trasformazioni sono alimentate da un motore scalabile in grado di elaborare centinaia di milioni di pagine, accelerando esponenzialmente l'elaborazione dei dati non strutturati. L'integrazione dei dati non strutturati si integra anche con framework open source come LangChain per estendere ulteriormente le funzionalità di trasformazione.
Per la fase di caricamento, la funzionalità prevede il chunking ed embedding degli operatori per semplificare la generazione dell'embedding e popolare i database vettoriali, come Milvus, rendendo i dati non strutturati facilmente accessibili per i casi d'uso dell'AI.
Una volta create, le pipeline rimarranno attive con aggiornamenti di embedding automatici quando i documenti originali cambiano, risolvendo i problemi comuni legati ai dati vettoriali obsoleti. Per garantire la sicurezza, gli elenchi di controllo degli accessi (ACL) integrati consentono all'organizzazione di gestire chi può visualizzare e agire su specifici set di dati.
Indipendentemente dal livello di competenza, gli utenti possono utilizzare al meglio un'interfaccia utente intuitiva e connettori predefiniti per inserire tipi di file non strutturati di uso comune da una varietà di fonti. Per gli utenti più tecnici, la piattaforma è completamente estendibile attraverso un SDK completo.
Per la fase di trasformazione, la funzionalità fornisce operatori di qualità precostituiti per gestire funzioni come l'estrazione del testo e la deduplica. Vengono anche rimossi contenuti sensibili come informazioni di identificazione personale (PII) e odio, linguaggio offensivo e blasfemia (HAP). Queste trasformazioni sono alimentate da un motore scalabile in grado di elaborare centinaia di milioni di pagine, accelerando esponenzialmente l'elaborazione dei dati non strutturati. L'integrazione dei dati non strutturati si integra anche con framework open source come LangChain per estendere ulteriormente le funzionalità di trasformazione.
Per la fase di caricamento, la funzionalità prevede il chunking ed embedding degli operatori per semplificare la generazione dell'embedding e popolare i database vettoriali, come Milvus, rendendo i dati non strutturati facilmente accessibili per i casi d'uso dell'AI.
Una volta create, le pipeline rimarranno attive con aggiornamenti di embedding automatici quando i documenti originali cambiano, risolvendo i problemi comuni legati ai dati vettoriali obsoleti. Per garantire la sicurezza, gli elenchi di controllo degli accessi (ACL) integrati consentono all'organizzazione di gestire chi può visualizzare e agire su specifici set di dati.
watsonx.data integration unifica i dati strutturati e non strutturati attraverso le moderne architetture lakehouse. Collegando database, documenti, log, immagini ed e-mail, consente di ottenere insight più ricchi, AI più accurata e una visione completa del business.
watsonx.data integration trasforma i contenuti non strutturati in dati fruibili strutturati, per agenti autonomi e sistemi in tempo reale, supportando casi d'uso come il servizio automatizzato, il rilevamento delle frodi e le supply chain dinamiche.
watsonx.data integration prepara contenuti non strutturati come documenti, audio e video, per l'addestramento dell'AI, pulendoli, arricchendoli e strutturandoli. Ciò garantisce input di alta qualità per migliorare PNL, computer vision e analytics predittiva.
Risorse
Scopri come puoi rendere il tuo stack di integrazione dei dati a prova di futuro con watsonx.data integration.
Leggi il blog
Crea pipeline ETL per dati non strutturati con IBM watsonx.data integration.
Leggi il blog
Abilita l'AI su larga scala con l'integrazione e la governance dei dati non strutturati.
Leggi il blog
Prodotti correlati
IBM® watsonx.data integration unifica i tuoi dati, strutturati e non, in tutti gli stili di integrazione e le architetture di storage, affinché siano predisposti per l'AI.
watsonx.data intelligence scopre, rende accurati e governa gli asset di dati, trasformando le informazioni non elaborate in insight di AI accurati e significativi, negli ambienti on-premise e cloud.
IBM® watsonx.data supera i tradizionali limiti dei data lakehouse, aprendo la strada a nuovi standard per l'integrazione, l'arricchimento e la governance dei dati che rendono l'AI più accurata.
Note a piè di pagina
¹ White paper di IDC: The untapped value of unstructured data