Implementare strategie di chunking RAG con LangChain e watsonx.ai

In questo tutorial, scoprirai diverse strategie di chunking utilizzando LangChain e l'ultimo modello IBM® Granite ora disponibile su watsonx.ai. L'obiettivo generale è eseguire la retrieval-augmented generation (RAG).

Il chunking è il processo di suddivisione di grandi parti di testo in segmenti o blocchi di testo più piccoli. Per sottolineare l'importanza del chunking, è utile capire che cos'è la RAG. La RAG è una tecnica di elaborazione del linguaggio naturale (PNL) che combina il recupero delle informazioni e i modelli linguistici di grandi dimensioni (LLM) per ottenere informazioni pertinenti da set di dati supplementari per ottimizzare la qualità dell'output del LLM. Per gestire documenti di grandi dimensioni, possiamo utilizzare il chunking per suddividere il testo in frammenti più piccoli e significativi. Questi blocchi di testo possono quindi essere incorporati e memorizzati in un database vettoriali mediante l'uso di un modello di embedding. Infine, il sistema RAG può utilizzare la ricerca semantica per recuperare solo i blocchi più rilevanti. I blocchi più piccoli tendono ad avere prestazioni migliori di quelli più grandi, in quanto tendono ad essere più gestibili per modelli con finestre di contesto più piccole.

Alcuni componenti chiave del chunking includono:

• Strategia di chunking: la scelta della giusta strategia di chunking per la sua applicazione RAG è importante in quanto determina i limiti per l'impostazione dei blocchi. Esploreremo alcuni di questi nella prossima sezione.
• Dimensione dei blocchi: numero massimo di token da inserire in ogni blocco. Determinare la dimensione appropriata del blocco di solito comporta alcuni esperimenti.  
• Sovrapposizione dei blocchi: il numero di token che si sovrappongono tra i blocchi per preservare il contesto. Si tratta di un parametro facoltativo.

Esistono diverse strategie di chunking tra cui scegliere. È importante selezionare la tecnica più efficace per il caso d'uso specifico della tua applicazione LLM. Alcuni processi di chunking comunemente utilizzati sono: 

• Chunking a dimensione fissa: suddivisione del testo con una dimensione specifica dei blocchi e sovrapposizione facoltativa. Questo approccio è il più comune e semplice.
• Chunking ricorsivo: iterazione dei separatori predefiniti fino a quando uno di essi non produce la dimensione del blocco preferita. I separatori predefiniti includono ["\n\n", "\n", " ", ""]. Questo metodo di chunking utilizza separatori gerarchici in modo che i paragrafi, seguiti da frasi e quindi parole, vengano tenuti insieme il più possibile.
• Chunking semantico: suddivisione del testo in modo da raggruppare le frasi in base alla similarità semantica dei loro embedding. Gli embedding ad alta somiglianza semantica sono più vicini tra loro rispetto a quelli a bassa somiglianza semantica. Ciò si traduce in blocchi sensibili al contesto.
• Chunking basato sul documento: suddivisione basata sulla struttura del documento. Questo splitter può utilizzare testo, immagini, tabelle e persino classi e funzioni di codice Python come modi per determinare la struttura. In tal modo, i documenti di grandi dimensioni possono essere suddivisi in blocchi ed elaborati dall'LLM.
• Agentic chunking: utilizza l'agentic AI per consentire all'LLM di determinare la suddivisione appropriata dei documenti in base al significato semantico e alla struttura dei contenuti come tipi di paragrafo, titoli di sezione, istruzioni passo a passo e altro ancora. Questo chunker è sperimentale e tenta di simulare il ragionamento umano quando si elaborano documenti lunghi.  

Sebbene sia possibile scegliere tra diversi strumenti, questo tutorial illustra come configurare un account IBM per utilizzare un Jupyter Notebook.

1. Accedi a watsonx.ai usando il tuo account IBM® Cloud.

2. Crea un progetto watsonx.ai.

   Puoi ottenere l'ID del progetto dall'interno del tuo progetto. Clicca sulla scheda Gestisci. Quindi, copia l'ID del progetto dalla sezione Dettagli della pagina Generali. Per questo tutorial ti serve questo ID.

3. Crea un Jupyter Notebook.

Questo passaggio aprirà un ambiente Notebook in cui potrai incollare il codice da questo tutorial. In alternativa, puoi scaricare questo notebook sul tuo sistema locale e caricarlo nel tuo progetto watsonx.ai come asset. Per visualizzare altri tutorial su Granite, visita l'IBM® Granite Community. Questo Jupyter Notebook insieme ai set di dati utilizzati sono disponibili su GitHub.

1. Crea un'istanza di servizio watsonx.ai Runtime (seleziona l'area geografica appropriata e scegli il piano Lite, che è un'istanza gratuita).

2. Genera una chiave API.

3. Associa l'istanza del servizio watsonx.ai Runtime al progetto che hai creato in watsonx.ai.

Per impostare le nostre credenziali, abbiamo bisogno della WATSONX_APIKEY e della WATSONX_PROJECT_ID che hai generato nel passaggio 1. Imposteremo anche l'URL che funge da endpoint dell'API.

Useremo Granite 3.1 come LLM per questo tutorial. Per inizializzare l'LLM, dobbiamo impostare i parametri del modello. Per maggiori informazioni sui parametri del modello, come i limiti minimi e massimi dei token, consulta la documentazione.

Il contesto che stiamo utilizzando per la nostra pipeline RAG è l'annuncio ufficiale di IBM per il rilascio di Granite 3.1. Possiamo caricare il post del blog in un documento direttamente dalla pagina web utilizzando WebBaseLoader di LangChain.

Forniamo un codice di esempio per l'implementazione di ciascuna delle strategie di chunking di cui abbiamo parlato in precedenza in questo tutorial, disponibile tramite LangChain.

Chunking a dimensioni fisse

Per implementare il chunking a dimensioni fisse possiamo usare CharacterTextSplitter di LangChain e impostare chunk_size e chunk_overlap. chunk_size è misurato dal numero di caratteri. Puoi sperimentare con valori diversi. Imposteremo anche il separatore in modo che sia il carattere di nuova riga in modo da poter distinguere tra i paragrafi. Per la tokenizzazione, possiamo usare il tokenizer di istruzioni granite-3.1-8b, che suddivide il testo in token che possono essere elaborati dall'LLM.

Possiamo stampare uno dei blocchi per una migliore comprensione della loro struttura.

Output: (troncata)

Possiamo anche usare il tokenizer per verificare il nostro processo e per controllare il numero di token presenti in ogni blocco. Questo passaggio è facoltativo e a scopo dimostrativo.

Output

Fantastico! Sembra che le dimensioni dei nostri chunk siano state implementate correttamente.

Chunking ricorsivo

Per il chunking ricorsivo, possiamo utilizzare RecursiveCharacterTextSplitter di LangChain. Come nell'esempio del chunking a dimensione fissa, possiamo sperimentare con diverse dimensioni di chunk e sovrapposizioni.

Output

La barra di divisione ha eseguito correttamente il chunking del testo utilizzando i separatori predefiniti: ["\n\n", "\n", " ", ""].

Chunking semantico

Il chunking semantico richiede un modello di embedding o di codifica. Possiamo utilizzare il modello di embedding granite-embedding-30m-english come modello di embedding. Possiamo anche stampare uno dei blocchi per comprenderne meglio la struttura.

Output: (troncata)

Chunking basato sui documenti

Documenti di vari tipi di file sono compatibili con gli splitter di testo basati su documenti di LangChain. Ai fini di questo tutorial, utilizzeremo un file Markdown. Per esempi di suddivisione ricorsiva in JSON, suddivisione del codice e divisione HTML, fai riferimento alla documentazione di LangChain.

Un esempio di file Markdown che possiamo caricare è il file README per Granite 3.1 su GitHub di IBM .

Output

Ora possiamo utilizzare MarkdownHeaderTextSplitter di LangChain per dividere il file in base al tipo di intestazione, che abbiamo impostato nell'elenco headers_to_split_on. Stamperemo anche uno dei blocchi come esempio.

Output

Come puoi vedere nell'output, il chunking ha suddiviso correttamente il testo per tipo di intestazione.

Ora che abbiamo sperimentato diverse strategie di chunking, passiamo all'implementazione della nostra RAG. Per questo tutorial, scegliamo i blocchi prodotti dagli agenti e li convertiamo in embedding. Un database vettoriale open source che possiamo utilizzare è Chroma DB. Possiamo accedere facilmente alle funzionalità Chroma attraverso il pacchetto langchain_chroma.

Inizializziamo il nostro database vettoriale Chroma, forniamogli il nostro embedding e aggiungiamo i nostri documenti prodotti tramite chunking semantico.

Output

A seguire, possiamo passare alla creazione di un modello di prompt per il nostro LLM. Questo modello di prompt ci consente di porre più domande senza alterare la struttura iniziale del prompt. Possiamo anche fornire il nostro database vettoriale come retriever. Questo passaggio finalizza la struttura RAG.

Utilizzando il nostro workflow RAG completato, richiamiamo una query utente. Innanzitutto, possiamo effettuare un prompt strategico del modello senza alcun contesto aggiuntivo dal database vettoriale che abbiamo creato per verificare se il modello utilizza le sue conoscenze integrate o se utilizza realmente il contesto RAG. Il blog di annuncio di Granite 3.1 fa riferimento a Docling, lo strumento IBM per analizzare vari tipi di documenti e convertirli in Markdown o JSON. Chiediamo all'LLM informazioni su Docling.

Output

Chiaramente, il modello non è stato addestrato su Docling e, senza strumenti o informazioni esterni, non può fornirci queste informazioni. Ora proviamo a fornire la stessa query alla catena RAG che abbiamo costruito.

Output

Fantastico! Il modello Granite ha utilizzato correttamente il contesto RAG per fornirci informazioni corrette su Docling preservando la coerenza semantica. Abbiamo dimostrato che questo stesso risultato non era possibile senza l'uso della RAG.

In questo tutorial, hai creato una pipeline RAG e hai sperimentato diverse strategie di chunking per migliorare la precisione di recupero del sistema. Utilizzando il modello Granite 3.1, abbiamo prodotto con successo le risposte appropriate del modello a una domanda dell'utente relativa ai documenti forniti come contesto. Il testo che abbiamo usato per questa implementazione RAG è stato caricato da un blog su ibm.com che annunciava il rilascio di Granite 3.1. Il modello ci ha fornito informazioni accessibili solo attraverso il contesto fornito, poiché non faceva parte della sua base di conoscenze iniziale.

Se sei alla ricerca di ulteriori letture, controlla i risultati di un progetto che confronta le prestazioni di LLM utilizzando il chunking strutturato HTML rispetto al chunking di watsonx.