Cos'è il Prompt Caching?

I modelli linguistici di grandi dimensioni (LLM) sono incredibilmente potenti, ma presentano due sfide principali: costi e latenza. Ogni token elaborato comporta un costo e, quando gli utenti interrogano ripetutamente lo stesso contesto, come un documento di grandi dimensioni, i costi aumentano a causa di calcoli ridondanti.

Inoltre, la latenza associata all'elaborazione di queste richieste può degradare la reattività dell'applicazione, portando a un'esperienza utente non all'altezza^[1]. Il caching dei prompt emerge come una soluzione chiave per affrontare queste sfide.

In questo articolo, esploreremo cos'è esattamente il caching dei prompt, in cosa si differenzia dal caching convenzionale, come può essere utilizzato nelle applicazioni AI e vari casi d'uso. Esamineremo anche i benefici e le avvertenze da considerare con il caching dei prompt. 

Il caching dei prompt è un metodo semplice per migliorare la velocità e l'efficienza dei costi degli LLM. Questi miglioramenti vengono ottenuti memorizzando le parti di un prompt che rimangono invariate più a lungo, come i contenuti didattici o le considerazioni relative al materiale di riferimento, in modo che il modello non debba rielaborare ripetutamente tali token. 

Ad esempio, quando si invia una richiesta a un LLM (come "spiega cos'è l'intelligenza artificiale"), il modello legge l'intero prompt per comprendere e rispondere. Se si invia nuovamente lo stesso prompt, il processo si ripete, aumentando tempi e costi.

Con il caching dei prompt, il modello salva parti ripetute di un prompt dopo la prima richiesta. Quando si invia di nuovo lo stesso prompt, recupera la risposta memorizzata invece di rielaborarla. Questo processo rende le risposte più rapide, più efficienti e convenienti, perché il modello non deve ripetere lo stesso calcolo per prompt identici.^[2]

Obiettivo e ambito:

• Il caching dei prompt salva i prompt ripetuti degli LLM per evitare il ricalcolo e ridurre la latenza.
• Il caching convenzionale memorizza i dati o le risorse a cui si accede di frequente (ad esempio, pagine HTML, query di database, risposte API, immagini) per velocizzare gli accessi futuri.

Affidabilità dell'output:

• Il caching dei prompt funziona solo quando il prompt e tutti i parametri (come temperatura, top-p e altri) rimangono esattamente gli stessi per ogni richiesta.
• La cache convenzionale è deterministica: lo stesso input produce sempre lo stesso output (come risultati o immagini di query identiche).

Prestazioni:

• Il caching dei prompt riduce l'utilizzo dei token, i costi delle API e la latenza complessivamente per richieste LLM ripetute o simili.
• La cache convenzionale migliora le prestazioni delle applicazioni, riduce il carico di backend o database e diminuisce la latenza di rete.

Scadenza e invalidazione:

• Il caching dei prompt è spesso collegato agli aggiornamenti delle versioni del modello o ai cicli di riaddestramento.
• La gestione della cache convenzionale avviene tramite TTL (time-to-live), versioning o invalidazione manuale quando i dati sottostanti cambiano.^[3]

Nel caching dei prompt, le sezioni ripetute di un prompt vengono memorizzate, in modo che possano essere riutilizzate nelle richieste future, evitando la necessità di inviarle nuovamente e rielaborarle.

Ecco la guida dettagliata su come funziona: 

1. Generazione della chiave: quando viene inviato un prompt, il sistema crea una chiave di cache. 
   Il caching a corrispondenza esatta utilizza il testo del prompt (o un formato hash o normalizzato) e può includere parametri come il nome del modello, la temperatura o il prompt di sistema. Funziona solo quando il prompt e tutte le impostazioni sono identiche.
   In alternativa, il caching semantico genera un embedding del prompt e cerca voci semanticamente simili. Questo tipo di cache permette il riutilizzo anche se la formulazione cambia. Questi due metodi di caching sono approcci separati con punti di forza differenti.
2. Ricerca nella cache: La chiave o l'embedding vengono quindi confrontati con la cache, in genere un archivio chiave-valore per una cache più tradizionale, oppure un database vettoriale per le corrispondenze semantiche.
3. Cache hit e miss:  un cache hit restituisce immediatamente un risultato memorizzato, evitando la rielaborazione. Una cache invia erroneamente il prompt al modello, poi salva l'output per la volta successiva.
4. Memorizza il risultato: sebbene si verifichi una cache miss, una volta che l'LLM restituisce una risposta, l'output generato (e talvolta l'embedding o altri metadati) verrà memorizzato sotto quella chiave per essere utilizzato in futuro.
5. Invalidazione:  le voci della cache possono scadere in base al time-to-live (TTL) definito dal server, all'aggiornamento del modello o alla deriva dei contenuti per mantenere le risposte accurate e tempestive.

LangChain fornisce un framework flessibile per aggiungere il caching dei prompt nelle applicazioni LLM. A differenza dei sistemi di caching autonomi, LangChain è un framework integrato per la creazione di applicazioni LLM. Riunisce la memorizzazione nella cache con altri componenti necessari in un'unica soluzione, come il concatenamento, la memoria, la retrieval-augmented generation (RAG) e l'integrazione degli strumenti.

Per saperne di più su come implementare il caching dei prompt usando la lang chain, clicca sul seguente link:

• Portale di documentazione interattivo: il caching dei prompt è molto efficace nei sistemi interni di gestione delle conoscenze, memorizzando le risposte alle domande più frequenti sulle politiche organizzative, sulle procedure o sulla documentazione tecnica. Quando i dipendenti cercano ripetutamente informazioni simili, le risposte memorizzate nella cache forniscono risposte immediate senza dover interrogare ripetutamente il LLM. 
  
  
• Campagne di marketing: il caching dei prompt semplifica i sistemi di chatbot e automazione precalcolando e salvando le risposte alle domande più frequenti. Ad esempio, le domande su sconti, specifiche del prodotto o disponibilità di stock vengono elaborate per garantire che gli utenti ricevano risposte rapide alle domande più frequenti. Durante i periodi di elevato traffico utente, le risposte memorizzate nella cache contribuiscono a evitare chiamate LLM superflue, riducendo i costi API non necessari e riducendo la latenza.
  
  
• Sistemi di supporto clienti: nei canali di supporto che consentono ai clienti di inviare domande, le risposte alle richieste più comuni per la risoluzione dei problemi, le preoccupazioni di gestione dell'account o i problemi di fatturazione possono essere memorizzati nella cache come prompt. In questo modo si avrebbero risposte più rapide, coerenza con le risposte fornite e a una riduzione della dipendenza dall'elaborazione LLM per gli stessi tipi di richieste. Questi miglioramenti possono portare a guadagni di efficienza e a una maggiore soddisfazione del cliente.^[4]

• Riduzione dei costi: risparmia sui costi delle API riutilizzando le coppie prompt-risposta invece di chiamare più volte l'LLM.
• Velocità: fornire una risposta memorizzata nella cache consente una risposta immediata. Risparmia il tempo totale di elaborazione della query e aumenta il tempo di risposta.
• Utilizzo delle risorse intelligente: non sprecare calcolo inutilmente e riserva le risorse per l'esecuzione di altre query complesse e variabili.
• Capacità infinita: gestisci in modo ragionevole il traffico elevato e le query ripetute e fai in modo che l'applicazione funzioni senza intoppi man mano che si ridimensiona.
• Risposte coerenti: tutte le query identiche o simili producono la stessa risposta, volta dopo volta, attraverso un segnale, creando esperienze affidabili e affidabili per l'utente.
• Esperienza utente: essere in grado di fornire risposte più rapide e prevedibili produce interazioni più fluide per utenti più soddisfatti in un'applicazione rivolta al cliente.
• Workload del server ridotto: riduci il workload del server e permetti al tuo sistema di funzionare con maggiore efficienza scaricando le query a cui è possibile rispondere con una risposta in cache.^[5]

Le piattaforme di spicco utilizzano il caching dei prompt tramite scritture nella cache e gestione della retention, impiegando TTL e controllo della cache per gestire gli output e rispettare le velocità, garantendo la privacy dei dati e la determinazione dei prezzi o dei costi di utilizzo in relazione alla cache stessa. È possibile memorizzare nella cache gli schemi di embedding e le istruzioni di sistema per utilizzarli nelle interazioni in tempo reale, migliorando così l'usabilità dello strumento in più conversazioni a più turni. 

Sebbene il caching dei prompt possa avere benefici utili, è importante rimanere consapevoli dei limiti relativi all'ottimizzazione e alle prestazioni. Alcune considerazioni chiave includono: 

• Gestione di query dinamiche o query sensibili al contesto: sebbene il caching dei prompt abbia spesso un'utilità limitata per le query dinamiche (nel tempo o in base all'input precedente dell'utente) o per le query sensibili al contesto, come quelle che potrebbero incorporare aggiornamenti di dati in tempo reale o una conversazione ripetuta a più turni, tali query devono produrre una risposta reattiva alle nuove informazioni.
  
• Risposte obsolete: le risposte memorizzate nella cache possono diventare obsolete abbastanza rapidamente se i dati o il contesto sono cambiati, fornendo informazioni errate o irrilevanti in risposta a una query.
  
• Complessità per i casi edge: la modifica della cache per supportare il riutilizzo parziale dei prompt o per mitigazioni specifiche potrebbe causare ulteriori problemi, poiché le modifiche aumentano la complessità della progettazione e dell'implementazione del sistema.
  
• Sfide nella manutenzione della cache: una gestione efficace della cache (ad esempio, impostazioni di scadenza o vincoli di storage) può comportare un sovraccarico operativo.^[6][7]

Il caching dei prompt è una strategia di caching intelligente che migliora le prestazioni di sistemi basati sull'AI come chatbot, assistenti di codifica e pipeline RAG, per migliorare sia le prestazioni che l'efficienza. Invece di effettuare più richieste all'API con la stessa richiesta per il prompt completo o di sistema, il sistema utilizza al meglio i contenuti memorizzati nella cache (ad esempio, prefissi di prompt, prefissi di cache, contenuti statici) per rappresentare i dati salvati sia sui token di input che su quelli di output.

Il risultato è una riduzione del numero di chiamate API, una diminuzione dei cache miss e un miglioramento complessivamente significativo della latenza di risposta e dell'esperienza utente. 

Il caching dei prompt funziona al meglio per sistemi basati su AI come i chatbot, migliora le prestazioni utilizzando i messaggi degli utenti, riducendo le richieste API e aumentando drasticamente i tassi di hit della cache tramite letture della cache concise.

Per eseguire una funzione o rispondere a richieste o query successive nella tua applicazione; il caching dei prompt salva i token dei prompt, i token totali e i conteggi di token, oltre a migliorare la facilità di tracciamento delle metriche. Con il caching dei prompt, i team possono tracciare i token dei prompt e i token totali in tempo reale e continuare a scalare grandi modelli linguistici a costi, velocità e affidabilità ben sincronizzati su scala globale per casi d'uso dell'AI generativa.