Home topics Vector Database Che cos'è un database vettoriale?
Esplora la soluzione di database vettoriale di IBM Abbonati per ricevere gli aggiornamenti sull'AI
Illustrazione che mostra lo spostamento dinamico dei dati tra server sicuri all'interno di un ambiente basato su cloud
Che cos'è un database vettoriale?

Un database vettoriale è progettato per memorizzare, gestire e indicizzare in modo efficiente grandi quantità di dati vettoriali altamente dimensionali.

L’interesse per i database vettoriali sta crescendo rapidamente, al fine di creare valore aggiuntivo per i casi d’uso e le applicazioni dell’intelligenza artificiale (AI) generativa. Secondo Gartner, entro il 2026 oltre il 30% delle imprese adotterà database vettoriali per predisporre i propri foundation model con dati aziendali rilevanti.1

A differenza dei database relazionali tradizionali con righe e colonne, i punti di dati in un database vettoriale sono rappresentati da vettori con un numero fisso di dimensioni, suddivisi in cluster in base alla similarità. Questo tipo di progettazione consente query a bassa latenza, l'ideale per le applicazioni basate sull'AI.



How to choose the right AI foundation model (Come scegliere il giusto foundation model di AI)

Utilizza questo framework di selezione del modello per scegliere il modello più appropriato bilanciando i requisiti di prestazioni con costi, rischi ed esigenze di implementazione.

Contenuti correlati

Registrati per ricevere l'ebook sugli storage dei dati AI

Confronto tra database vettoriali e database tradizionali  

La natura dei dati ha subito una profonda trasformazione. Non si tratta più di informazioni strutturate facilmente memorizzabili nei database tradizionali. I dati non strutturati crescono dal 30 al 60% anno dopo anno e comprendono post sui social media, immagini, video, clip audio e altro ancora.2 In genere, se si desidera caricare origini di dati non strutturati in un database relazionale tradizionale per memorizzare, gestire e addestrare l'AI, il processo risulta ad alta intensità di lavoro e tutt'altro che efficiente, soprattutto quando si tratta di nuovi casi d'uso generativi come la ricerca di similarità. I database relazionali sono ideali per la gestione di set di dati strutturati e semi-strutturati in formati specifici, mentre i database vettoriali sono più adatti per set di dati non strutturati tramite incorporamenti di vettori altamente dimensionali. 

Cosa sono i vettori? 

Inserisci vettori. I vettori sono array di numeri che possono rappresentare oggetti complessi come parole, immagini, video e audio, generati da un modello di machine learning (ML). I dati dei vettori altamente dimensionali sono essenziali per il machine learning, l'elaborazione del linguaggio naturale (NLP) e altre attività correlate all'AI. Alcuni esempi di dati vettoriali comprendono: 

  • Testo: pensa all'ultima volta che hai interagito con un chatbot. Come comprendono il linguaggio naturale? Si basano su vettori che possono rappresentare parole, paragrafi e interi documenti, convertiti tramite algoritmi di machine learning. 

  • Immagini: i pixel delle immagini possono essere descritti da dati numerici e combinati per costituire un vettore altamente dimensionale per quell'immagine. 

  • Voce/audio: come le immagini, anche le onde sonore possono essere suddivise in dati numerici e rappresentate come vettori, abilitando applicazioni di AI come il riconoscimento vocale. 

Cosa sono gli incorporamenti vettoriali? 

Il volume di set di dati non strutturati di cui la tua organizzazione ha bisogno per l'AI continuerà a crescere, e quindi come gestisci milioni di vettori? È a questo punto che entrano in gioco gli incorporamenti e i database di vettori. Questi vettori sono rappresentati in uno spazio continuo e multidimensionale noto come incorporamento, generato incorporando modelli e specializzato nella conversione dei dati vettoriali in un incorporamento. I database vettoriali servono per memorizzare e indicizzare l'output di un modello di incorporamento. Gli incorporamenti vettoriali sono una rappresentazione numerica dei dati, che raggruppa set di dati in base al significato semantico o a caratteristiche simili praticamente in qualsiasi tipo di dati.  

Prendiamo ad esempio le parole "auto" e "veicolo". Entrambe hanno significati simili anche se sono scritte in modo diverso. Affinché un'applicazione AI consenta una ricerca semantica efficace, le rappresentazioni vettoriali di “auto" e “veicolo" devono acquisire la loro similarità semantica. Quando si tratta di machine learning, gli incorporamenti rappresentano vettori altamente dimensionali che codificano queste informazioni semantiche. Questi incorporamenti di vettori sono la spina dorsale di consigli, chatbot e app generative come ChatGPT.  

Database vettoriale e database grafico  

I grafici della conoscenza rappresentano una rete di entità come oggetti o eventi e il rapporto che sussiste tra di loro. Un database a grafo è un database adatto allo scopo per memorizzare le informazioni del grafo di conoscenza e visualizzarle come struttura a grafo. I database a grafo sono basati su nodi ed edge che rappresentano le entità note e le relazioni complesse tra di loro, mentre i database vettoriali sono basati su vettori altamente dimensionali. Di conseguenza, si preferiscono i database grafici per elaborare relazioni complesse tra punti dati, mentre i database vettoriali sono migliori per gestire diversi formati di dati come immagini o video.

Come funzionano gli incorporamenti vettoriali e i database vettoriali 

I dati vettoriali aziendali possono essere inseriti in un modello di incorporamento come i modelli watsonx.ai o Hugging Facedi IBM (link esterno a ibm.com),  specializzati nella conversione dei dati in un'incorporazione trasformando dati vettoriali complessi e altamente dimensionali in forme numeriche che i computer sono in grado di comprendere. Questi incorporamenti rappresentano gli attributi dei tuoi dati utilizzati nelle attività di AI come la classificazione e il rilevamento delle anomalie.

Storage vettoriale

I database vettoriali memorizzano l'output di un algoritmo di modello di incorporamento, gli incorporamenti vettoriali. Memorizzano anche i metadati di ciascun vettore, che possono essere interrogati utilizzando i filtri dei metadati. Inserendo e memorizzando questi incorporamenti, il database può quindi facilitare il recupero rapido di una ricerca di similarità, abbinando il prompt dell'utente a un incorporamento vettoriale simile. 

Indicizzazione vettoriale

La memorizzazione dei dati come incorporamenti non è sufficiente. I vettori devono essere indicizzati per accelerare il processo di ricerca. I database vettoriali creano indici su incorporamenti vettoriali per la funzionalità di ricerca. Il database vettoriale indicizza i vettori utilizzando un algoritmo di machine learning. L'indicizzazione mappa i vettori su nuove strutture dati che consentono ricerche di similarità o distanza più rapide, come la ricerca di prossimità tra vettori.

Ricerca di similarità basata su query o prompt

La query dei vettori può essere eseguita tramite calcoli che misurano la distanza tra i vettori utilizzando algoritmi, come la ricerca di prossimità. Questa misurazione può essere basata su varie metriche di similarità come la similarità del coseno, utilizzata da tale indice per misurare quanto siano vicini o distanti tali vettori. Quando un utente interroga o richiede un modello AI, viene calcolato un incorporamento utilizzando lo stesso algoritmo del modello di incorporamento. Il database calcola le distanze ed esegue calcoli di similarità tra vettori di query e vettori memorizzati nell'indice. Restituiscono i vettori più simili o i vicini più prossimi in base alla classifica di similarità. Questi calcoli supportano varie attività di machine learning come sistemi di raccomandazione, la ricerca semantica, il riconoscimento delle immagini e altre attività di elaborazione del linguaggio naturale. 

Database vettoriali e Retrieval Augmented Generation (RAG) 

Le aziende preferiscono sempre più l'approccio RAG (Retrieval Augmented Generation) nei workflow di AI generativa per il suo time-to-market più rapido, l'inferenza efficiente e l'output affidabile, in particolare per casi d'uso chiave come l'assistenza clienti e le Risorse Umane/Talenti. Il RAG garantisce che il modello sia collegato ai fatti più recenti e affidabili e che gli utenti abbiano accesso alle fonti del modello, in modo che le sue affermazioni possano essere verificate per verificarne l'accuratezza. Il RAG è fondamentale per la nostra capacità di ancorare modelli linguistici di grandi dimensioni a dati attendibili per ridurre le allucinazioni del modello. Questo approccio si basa sull'utilizzo di dati vettoriali altamente dimensionali per arricchire i prompt con informazioni semanticamente pertinenti ai fini dell'apprendimento contestuale da parte dei foundation model. Richiede storage e recupero efficaci durante la fase di inferenza, che gestisce il volume più elevato di dati. I database vettoriali eccellono nell'indicizzare, memorizzare e recuperare in modo efficiente questi vettori altamente dimensionali, fornendo la velocità, la precisione e la scalabilità necessarie per applicazioni come motori di raccomandazione e chatbot.

Vantaggi dei database vettoriali 

Sebbene sia chiaro che la funzionalità di database vettoriale sta rapidamente crescendo in termini di interesse e adozione per migliorare le applicazioni aziendali basate sull'AI, i seguenti benefici ne hanno dimostrato anche il valore aziendale per gli utenti: 

Velocità e prestazioni: i database vettoriali utilizzano varie tecniche di indicizzazione per consentire una ricerca più rapida. L'indicizzazione vettoriale e gli algoritmi di calcolo della distanza, come la ricerca per prossimità, sono particolarmente utili per la ricerca di risultati pertinenti in milioni, se non miliardi, di punti dati, con prestazioni ottimizzate. 

Scalabilità: i database vettoriali possono archiviare e gestire enormi quantità di dati non strutturati scalando orizzontalmente, mantenendo le prestazioni man mano che le richieste di query e i volumi di dati aumentano.

Costi di gestione: i database vettoriali sono una valida alternativa all'addestramento dei foundation model da zero o alla loro messa a punto, riducendo il costo e la velocità di inferenza dei foundation model.

Flessibilità: che tu disponga di immagini, video o altri dati multidimensionali, i database vettoriali sono progettati per gestire la complessità. Dati i molteplici casi d'uso che vanno dalla ricerca semantica alle applicazioni di AI conversazionale, l'uso di database vettoriali può essere personalizzato per soddisfare i requisiti aziendali e di AI. 

Memoria a lungo termine degli LLM: le organizzazioni possono iniziare con soluzioni generiche quali i modelli Granite di watsonx.ai di IBM, i modelli Llama-2 di Meta o i modelli Flan di Google, quindi fornire i dati in un database vettoriale per migliorare l'output dei modelli e delle applicazioni AI critiche per la retrieval augmented generation. 

Componenti per la gestione dei dati: tipicamente i database vettoriali offrono funzionalità integrate per aggiornare e inserire facilmente nuovi dati non strutturati. 

Considerazioni sui database vettoriali e sulla strategia dei dati 

Esiste un'ampia gamma di opzioni quando si tratta di scegliere una funzionalità di database vettoriale per soddisfare le esigenze di dati e AI di un'organizzazione. 

Tipi di database vettoriali

 

Sono disponibili alcune alternative tra cui scegliere.

  • Database vettoriali proprietari autonomi come Pinecone
  • Soluzioni open source come weaviate o milvus, che forniscono API RESTful integrate e supportano i linguaggi di programmazione Python e Java
  • Piattaforme con funzionalità di database vettoriali integrate, presto disponibili su IBMwatsonx.data

  • Estensioni di database/ricerca vettoriali come l'estensione open source pgvector di PostgreSQL, che fornisce funzionalità di ricerca per similarità vettoriale

Integrazione con il tuo ecosistema di dati

I database vettoriali non devono essere considerati come funzionalità autonome, ma piuttosto come parte integrante di un più ampio ecosistema di dati e AI. Molti offrono API, estensioni native o possono essere integrati con i tuoi database. Poiché sono progettati per utilizzare i dati aziendali al fine di migliorare i modelli, è necessario disporre anche di una governance e di una sicurezza dei dati adeguate per garantire che i dati su cui si basano questi LLM possano essere affidabili. 

È a questo punto che una base di dati affidabili svolge un ruolo importante nell'AI, a partire dai dati e da come vengono memorizzati, gestiti e governati prima di essere utilizzati per l'AI. Al centro di tutto ciò si trova un data lakehouse, aperto, ibrido e governato, come IBM watsonx.data, parte della piattaforma dati AI  watsonx , che si integra perfettamente in un'architettura di Data Fabric. Ad esempio, IBM watsonx.data è stato creato per accedere, catalogare, governare e trasformare tutti i dati e i metadati strutturati, semistrutturati e non strutturati. Puoi quindi utilizzare i dati governati e le funzionalità del database vettoriale integrato di watsonx.data (anteprima tecnica nel quarto trimestre 2023) per casi d'uso di machine learning e AI generativa. 

Quando l'indicizzazione vettoriale non è ottimale

L'utilizzo di un archivio vettoriale e di un indice è particolarmente adatto per le applicazioni basate su fatti o query basate su fatti. Ad esempio, chiedere informazioni sui termini legali di un'azienda l'anno scorso o estrarre informazioni specifiche da documenti complessi. Il set del contesto di recupero che si otterrebbe sarebbe quello semanticamente più simile alla query attraverso la distanza di incorporamento. Tuttavia, se si desidera ottenere un riepilogo degli argomenti, questa operazione non si presta bene a un indice vettoriale. In tal caso, è necessario che l'LLM esamini tutti i diversi contesti possibili sull'argomento all'interno dei dati. È invece possibile utilizzare un tipo diverso di indice, ad esempio un indice di lista anziché un indice vettoriale, poiché un indice vettoriale recupererebbe solo i dati più rilevanti.  

Casi d'uso dei database vettoriali 

Le applicazioni dei database vettoriali sono vaste e in crescita. Alcuni casi d'uso principali includono:

Ricerca semantica: esegui le ricerche in base al significato o al contesto di una query, per risultati più precisi e rilevanti. Poiché non solo le parole, ma anche le frasi possono essere rappresentate come vettori, la funzionalità di ricerca vettoriale semantica comprende meglio l'intenzione dell'utente rispetto alle parole chiave generali. 

Ricerca per similarità e applicazioni: trova immagini, testo, dati audio o video simili con facilità, per il recupero dei contenuti, compreso il riconoscimento avanzato di immagini e voce, l'elaborazione del linguaggio naturale e altro ancora. 

Motori di raccomandazione: i siti di e-commerce, ad esempio, possono utilizzare database vettoriali e vettori per rappresentare le preferenze dei clienti e gli attributi dei prodotti. In questo modo possono suggerire articoli simili agli acquisti precedenti in base alla similarità vettoriale, migliorando l'esperienza dell'utente e aumentando la fidelizzazione.

AI conversazionale: migliora le interazioni virtuali con gli agenti affinando la capacità di analizzare le Knowledge base pertinenti in modo efficiente e accurato per fornire risposte contestuali in tempo reale alle query degli utenti, insieme ai documenti di origine e ai numeri di pagina di riferimento. 

Funzionalità di database vettoriali
watsonx.ai

Uno studio aziendale di nuova generazione pensato per i builder AI per costruire, addestrare, convalidare, adattare e distribuire sia il machine learning tradizionale che le nuove funzionalità di AI generativa basate sui foundation model. Crea una risorsa di domande e risposte da un'ampia Knowledge base interna o esterna con l'aiuto delle attività di AI in watsonx.ai, come la retrieval augmented generation.

Scopri di più

watsonx.data

Uno storage dei dati adatto allo scopo creato su un'architettura open data lakehouse per scalare i workload AI, per tutti i dati, ovunque. Memorizza, interroga e cerca incorporamenti di vettori in watsonx.data con funzionalità vettoriali integrate (anteprima tecnica prevista per il quarto trimestre del 2023).

Scopri di più

IBM Cloud Databases for PostgreSQL-

La nostra offerta PostgreSQL database-as-a-service consente ai team di dedicare più tempo alla creazione con elevata disponibilità, orchestrazione del backup, ripristino a orari prestabiliti (PITR) e replica di lettura con facilità. PostgreSQL offre pgvector, un'estensione vettoriale open source che potrà essere configurata con le estensioni di IBM Cloud PostgreSQL (presto in arrivo), fornendo funzionalità di ricerca di somiglianze vettoriali.

Scopri di più
IBM Cloud Databases for Elasticsearch

Il nostro database-as-a-service Elasticsearch è dotato di un motore di ricerca full-text, la soluzione ideale per i dati di testo non strutturati. Elasticsearch supporta inoltre varie forme di ricerca di similarità semantica (link esterno a ibm.com). Supporta vettori densi (link esterno a ibm.com) per una ricerca prossimale esatta, ma fornisce anche modelli di AI integrati per calcolare i vettori sparsi e condurre la ricerca avanzata della similarità (link esterno a ibm.com).

Scopri di più
Risorse del database vettoriale I foundation model e gli storage dei dati sbloccano il potenziale dell'AI generativa

Le organizzazioni che utilizzano correttamente i modelli generativi dell'AI possono riscontrare una miriade di benefici: dall'aumento dell'efficienza operativa e dal miglioramento del processo decisionale alla rapida creazione di contenuti di marketing.

I modelli watsonx Granite, sviluppati da IBM e pronti per le aziende, sono ora disponibili

IBM annuncia il rilascio dei primi modelli della serie di modelli Granite di watsonx, una raccolta di modelli di AI generativa con l'obiettivo di promuovere l'integrazione dell'AI generativa nelle applicazioni e nei workflow aziendali.

Che cos'è la retrieval-augmented generation?

Il RAG è un framework di AI per recuperare dati da una knowledge base esterna per basare gli LLM sugli insight più accurati e aggiornati possibile e per fornire agli utenti informazioni sul processo generativo dei LLM.

Fai il passo successivo

Addestra, convalida, adatta e implementa le funzionalità di AI generativa, foundation model e machine learning con IBM watsonx.ai, uno studio aziendale di nuova generazione per builder AI. Crea applicazioni AI in tempi ridotti e una minima quantità di dati.

Esplora watsonx.ai Prenota una demo live
Note a piè di pagina

1 Gartner Innovation Insight: Vector Databases (link esterno a ibm.com), richiede un account Gartner), Gartner

2 Gartner 2022 Strategic Roadmap for Storage (link esterno a ibm.com), richiede un account Gartner), Gartner