Architettura

L'architettura RAG, mostrata nel diagramma sopra, può essere suddivisa in due sezioni:

• la pipeline di dati che consiste in pre-elaborazione, acquisizione e archiviazione/embedding dei dati; e
  
• la pipeline di generazione che consiste in prompt dell'utente, recupero dei dati e generazione di risposte.

Il percorso tipico seguito per creare una soluzione RAG è il seguente:

1. Un ingegnere AI prepara i dati del cliente (ad esempio, manuali delle procedure, documentazione del prodotto, ticket dell'help desk, ecc.) durante la pre-elaborazione dei dati. I dati del cliente vengono trasformati e/o arricchiti per renderli adatti all'ampliamento del modello. Le trasformazioni possono includere semplici conversioni di formato, come la conversione di documenti PDF in testo, o trasformazioni più complesse come la traduzione di strutture di tabelle complesse in istruzioni di tipo if-then. L'arricchimento può includere l'espansione di abbreviazioni comuni, l'aggiunta di metadati come le informazioni sulla valuta e altre aggiunte per migliorare la pertinenza dei risultati di ricerca.

2. Le informazioni arricchite dai documenti vengono suddivise in segmenti più piccoli chiamati blocchi per gestire il testo in modo più efficiente. Questo può essere fatto utilizzando diverse strategie di suddivisione in blocchi, ognuna delle quali ha un proprio modo di separare e raggruppare le informazioni.

3. I blocchi vengono poi assorbiti in un database dove devono essere memorizzati e accessibili durante l'uso della soluzione. Strategie di recupero diverse richiederanno diversi tipi di database; alcuni richiedono addirittura più tipi di database. Tuttavia, la soluzione generale RAG utilizzerà solo un database vettoriale. In questo caso viene utilizzato un modello di embedding per convertire i blocchi in una serie di vettori, che possono poi essere memorizzati nel Vector DB.
   

   Il sistema è ora pronto per essere usato dagli utenti finali.

4. Gli utenti finali interagiscono con un'applicazione abilitata GenAI e inseriscono una query.

5. L'applicazione GenAI riceve la query ed esegue la strategia di recupero impiegata per ottenere le prime "K" (dove K è solo un segnaposto per un numero) di informazioni che la strategia ritiene più simili alla query dell'utente. Ad esempio, se la query dell'utente è "Qual è il limite di prelievo giornaliero sul conto MaxSavers", la ricerca potrebbe restituire passaggi come "Il conto MaxSavers è...", "I limiti di prelievo giornaliero sono..." e "...limiti del conto...".

6. La query originale, i passaggi principali e un prompt di istruzioni, resi accurati per la specifica applicazione, vengono inviati all'LLM.

7. L'LLM segue quindi il prompt delle istruzioni per generare e formattare una risposta alla domanda utente originale utilizzando le informazioni rielaborate.