Was ist Prompt-Caching?

Große Sprachmodelle (LLMs) sind unglaublich leistungsstark, bringen aber zwei große Herausforderungen mit sich: Kosten und Latenz. Für jedes verarbeitete Token fallen Gebühren an, und wenn Benutzer wiederholt denselben Kontext abfragen, wie beispielsweise ein großes Dokument, treiben sie die Kosten in die Höhe, indem sie redundante Berechnungen auslösen.

Darüber hinaus kann die mit der Verarbeitung dieser Anfragen verbundene Latenz die Reaktionsfähigkeit Ihrer Anwendung beeinträchtigen und zu einem suboptimalen Benutzererlebnis führen ^[1] . Prompt Caching erweist sich als eine Schlüssellösung zur Bewältigung dieser Herausforderungen.

In diesem Artikel erläutern wir, was genau Prompt Caching ist, wie es sich vom herkömmlichen Caching unterscheidet, wie es in KI-Anwendungen eingesetzt werden kann und demonstrieren verschiedene Anwendungsfälle. Wir werden uns auch die Vorteile und Vorbehalte ansehen, die beim Prompt Caching zu berücksichtigen sind. 

Prompt Caching ist eine einfache Methode, um die Geschwindigkeit und Kosteneffizienz von LLMs zu verbessern. Diese Verbesserungen werden erreicht, indem häufig unveränderte Teile eines Prompts wie Lehrinhalte oder Referenzmaterialien gespeichert werden, sodass das Modell diese Token nicht wiederholt verarbeiten muss. 

Wenn Sie beispielsweise eine Anfrage an ein LLM senden (etwa „Erkläre mir bitte, was künstliche Intelligenz ist?“), liest das Modell den gesamten Prompt, um ihn zu verstehen und zu beantworten. Wenn Sie denselben Prompt erneut senden, wiederholt er dieselbe Bearbeitung, was Zeit und Kosten erhöht.

Mit Prompt Caching speichert das Modell wiederholte Teile eines Prompts nach der ersten Anfrage. Wenn Sie den gleichen Prompt erneut senden, wird die gespeicherte Antwort abgerufen, anstatt sie erneut zu verarbeiten. Dieser Prozess macht Antworten schneller, effizienter und kostengünstiger, weil das Modell nicht dieselbe Berechnung für identische Eingaben wiederholen muss. ^[2]

Ziel und Umfang:

• Das Prompt Caching speichert wiederholte LLM-Eingaben, um eine Neuberechnung zu vermeiden und die Latenz zu reduzieren.
• Konventionelles Caching speichert häufig abgerufene Daten oder Ressourcen (zum Beispiel HTML-Seiten, Datenbankabfragen, API-Antworten, Bilder), um den zukünftigen Zugriff zu beschleunigen.

Zuverlässigkeit der Ausgabe:

• Das Prompt Caching funktioniert nur, wenn der Prompt und alle Parameter (wie Temperatur, Top-P und andere) für jede Anfrage exakt gleich bleiben.
• Herkömmliches Caching ist deterministisch, das heißt, die gleiche Eingabe erzeugt immer die gleiche Ausgabe (z. B. identische Abfrageergebnisse oder Bilder).

Leistung:

• Prompt Caching reduziert die Token-Nutzung, API-Kosten und die End-to-End-Latenz für wiederholte oder ähnliche LLM-Anfragen.
• Herkömmliches Caching verbessert die Leistung der Anwendung, senkt die Last des Backends oder der Datenbank und verringert die Latenz.

Ablauf und Invalidierung:

• Prompt Caching ist oft mit Modellversionsaktualisierungen oder erneuten Trainingszyklen verbunden.
• Herkömmliches Caching verwaltet durch TTL (Time-to-Live), Versionsmanagement oder manuelle Invalidierung, wenn sich zugrundeliegende Daten ändern.^[3]

Beim Prompt Caching werden die wiederholten Abschnitte eines Prompts gespeichert, sodass sie in zukünftigen Anfragen wiederverwendet werden können, sodass sie nicht erneut gesendet und verarbeitet werden müssen.

Hier ist die Schritt-für-Schritt-Anleitung: 

1. Schlüsselgenerierung: Wenn ein Prompt eingereicht wird, erstellt das System einen Cache-Schlüssel. 
   Exact-Match-Caching verwendet den Prompt-Text (oder eine gehashte oder normalisierte Form) und kann Parameter wie Modellname, Temperatur oder System-Prompt enthalten. Es funktioniert nur, wenn der Prompt und alle Einstellungen identisch sind.
   Semantisches Caching hingegen erzeugt ein Einbetten des Prompts und sucht nach semantisch ähnlichen Einträgen. Diese Art des Cachings erlaubt eine Wiederverwendung, selbst wenn sich die Formulierung ändert. Diese beiden Caching-Methoden sind separate Ansätze mit unterschiedlichen Stärken.
2. Cache-Suche: Der Schlüssel oder das Einbetten wird dann mit dem Cache-Speicher verglichen, in der Regel ein Schlüsselwert-Speicher für einen traditionelleren Cache oder eine Vektordatenbank für semantische Übereinstimmungen.
3. Cachetreffer und -fehler:  Ein Cachetreffer gibt sofort ein gespeichertes Ergebnis zurück und vermeidet so eine erneute Verarbeitung. Ein Cache sendet den Prompt falsch an das Modell und speichert dann die Ausgabe für das nächste Mal.
4. Ergebnis speichern: Obwohl ein Cache-Miss vorliegt, wird das erzeugte Output (und manchmal Embedding oder andere Metadaten) unter diesem Schlüssel gespeichert, sobald das LLM eine Antwort zurückgibt, um es in der Zukunft zu verwenden.
5. Ungültigkeit: Cache-Einträge können basierend auf einer vom Server festgelegten Gültigkeitsdauer (TTL), Modellaktualisierungen oder Inhaltsabweichungen ablaufen, um die Genauigkeit und Aktualität der Antworten zu gewährleisten.

LangChain bietet ein flexibles Framework für das Hinzufügen von Prompt Caching zu LLM-Anwendungen. Im Gegensatz zu eigenständigen Caching-Systemen ist LangChain ein integriertes Framework für die Erstellung von LLM-Anwendungen. Es vereint das Caching mit anderen notwendigen Komponenten zu einer Lösung wie Chaining, Speicher, Retrieval-Augmented Generation (RAG) und Tool-Integration.

Um mehr darüber zu erfahren, wie Sie Prompt Caching mithilfe von Lang Chain implementieren, klicken Sie auf den folgenden Link:

• Interaktive Dokumentationsportale: Prompt Caching ist in internen Wissensmanagementsystemen sehr effektiv, indem es Antworten auf häufig gestellte Fragen zu Unternehmensrichtlinien, Verfahren oder technischer Dokumentation speichert. Wenn Mitarbeiter wiederholt nach ähnlichen Informationen suchen, liefern zwischengespeicherte Antworten sofortige Ergebnisse, ohne dass das LLM wiederholt abgefragt werden muss. 
  
  
• Marketingkampagnen: Prompt Caching optimiert Chatbot- und Automatisierungssysteme, indem Antworten auf häufig gestellte Fragen vorberechnet und gespeichert werden. Beispielsweise werden Anfragen zu Rabatten, Produktspezifikationen oder Lagerbeständen gestreamt, um sicherzustellen, dass Nutzer schnell Antworten auf häufig gestellte Fragen erhalten. Bei hohem Nutzeraufkommen helfen zwischengespeicherte Antworten, unnötige LLM-Aufrufe zu vermeiden, indem unnötige API-Kosten reduziert und die Latenz verringert werden.
  
  
• Kundensupport-Systeme: Auf Support-Kanälen, über die Kunden Fragen absenden können, können Antworten auf häufige Anfragen zur Fehlerbehebung, Account-Management oder Abrechnungsproblemen als Prompt zwischengespeichert werden. Dies würde zu schnelleren Antworten, Konsistenz der gegebenen Antworten und einer geringeren Abhängigkeit von der LLM-Bearbeitung für die gleichen Arten von Anfragen führen. Diese Verbesserungen können zu Effizienzsteigerungen und höherer Kundenzufriedenheit führen.^[4]

• Kostensenkung: Sparen Sie API-Kosten, indem Sie Prompt-Response-Paare wiederverwenden, anstatt das LLM mehrfach aufzurufen.
• Geschwindigkeit: Die Bereitstellung einer zwischengespeicherten Antwort liefert eine sofortige Antwort. Dadurch wird die Gesamtverarbeitungszeit für die Abfrage verkürzt und die Antwortzeit erhöht.
• Intelligente Ressourcennutzung: Verschwenden Sie nicht unnötig Rechenleistung und reservieren Sie Ressourcen für die Ausführung anderer, variierender, komplexer Abfragen.
• Unendliche Kapazität: Managen Sie vernünftig hohen Traffic und wiederholte Abfragen und sorgen Sie dafür, dass die Anwendung bei der Skalierung reibungslos läuft.
• Einheitliche Antworten: Alle identischen oder ähnlichen Anfragen erzeugen immer wieder die gleiche Antwort, und zwar durch einen Hinweis, wodurch eine vertrauenswürdige und zuverlässige Benutzererfahrung geschaffen wird.
• Benutzererfahrung: Die Möglichkeit, schnellere und vorhersehbarere Antworten zu geben, führt zu reibungsloseren Interaktionen für zufriedenere Benutzer in einer kundenorientierten Anwendung.
• Reduzierte Serverbelastung: Reduzieren Sie die Serverbelastung und ermöglichen Sie Ihrem System, effizienter zu arbeiten, indem Sie Anfragen auslagern, die mit einer zwischengespeicherten Antwort beantwortet werden können. ^[5]

Führende Plattformen nutzen Prompt Caching-Speicher durch Cache-Schreibvorgänge und Aufbewahrungsmanagement, während sie TTL und Cache-Control verwenden, um ihre Ausgaben und Respektierungsraten zu steuern und so Datenschutz und Nutzungspreise bzw. -kosten im Verhältnis zum Cache zu gewährleisten. Einbetten von Schemata und Systemanweisungen kann für die Verwendung bei Echtzeit-Interaktionen zwischengespeichert werden, um die Benutzerfreundlichkeit des Werkzeugs über mehrere Multiturn-Konversationen hinweg zu verbessern. 

Obwohl Prompt Caching wertvolle Vorteile haben kann, ist es wichtig, sich der Einschränkungen in Bezug auf Optimierung und Leistung bewusst zu sein. Einige wichtige Überlegungen sind: 

• Verwaltung dynamischer oder kontextabhängiger Abfragen: Während das Prompt Caching oft nur einen begrenzten Nutzen für dynamische Abfragen (zeitlich oder aufgrund früherer Benutzereingaben) oder kontextabhängige Abfragen, wie beispielsweise Abfragen, die Echtzeitdaten umfassen, hat Aktualisierungen von Daten oder eine wiederholte mehrstufige Konversation müssen diese Anfragen eine Antwort ergeben, die auf neue Informationen reagiert.
  
• Veraltete Antworten: Gespeicherte Antworten können ziemlich schnell veraltet sein, wenn sich Daten oder der Kontext ändern, wodurch falsche oder irrelevante Informationen als Antwort auf eine Anfrage bereitgestellt werden.
  
• Komplexität für Edge-Fälle: Die Änderung des Caches zur teilweisen Wiederverwendung von Prompt oder für spezifische Minderungen könnte zu weiteren Problemen führen, da die Änderungen die Komplexität des Systemdesigns und der Implementierung erhöhen.
  
• Herausforderungen bei der Cache-Wartung: Eine effektive Verwaltung des Caches (zum Beispiel Ablaufeinstellungen oder Speicherbeschränkungen) kann mit betrieblichen Mehrkosten verbunden sein.^[6][7]

Prompt Caching ist eine intelligente Caching-Strategie, die die Leistung von KI-gestützten Systemen wie Chatbots, Codierung-Assistenten und RAG-Pipelines verbessert, um sowohl die Leistung als auch die Effizienz zu verbessern. Anstatt mehrere Anfragen an die API mit der gleichen Anfrage für die vollständige Prompt oder Systemprompt zu stellen, profitiert das System von zwischengespeicherten Inhalten (z. B. Promptpräfixe, Cachepräfixe, statische Inhalte), um diese Daten darzustellen, wodurch sowohl Input- als auch Output-Tokens eingespart werden.

Das Ergebnis ist eine Verringerung der API-Aufrufe, weniger Cache-Misses und insgesamt eine signifikante Steigerung der Antwortlatenz und der Benutzererfahrung. 

Prompt Caching eignet sich am besten für KI-gestützte Systeme wie Chatbots, verbessert die Leistung durch die Nutzung von Benutzernachrichten, reduziert API-Anfragen und erhöht die Cache-Trefferraten durch prägnantes Cache-Lesen drastisch.

Zum Ausführen einer Funktion oder zum Beantworten von nachfolgenden Anfragen oder Abfragen in Ihrer Anwendung; Prompt Caching speichert Prompt-Token, die Gesamtzahl der Token und die Token-Anzahl und verbessert die einfache Nachverfolgung von Metriken. Mit Prompt Caching können Teams Prompt-Token und die Gesamtzahl der Token in Echtzeit verfolgen und große Sprachmodelle zu einem guten Zeitpunkt zu angemessenen Kosten, Geschwindigkeit und Zuverlässigkeit auf globaler Ebene für generative KI-Anwendungsfälle skalieren.