¿Qué es el almacenamiento en caché de instrucciones?

Los modelos de lenguaje de gran tamaño (LLM) son increíblemente potentes, pero conllevan dos retos importantes: el coste y la latencia. Cada token procesado incurre en un cargo, y cuando los usuarios consultan repetidamente el mismo contexto, como un documento grande, aumentan los costes al desencadenar cálculos redundantes.

Además, la latencia asociada al procesamiento de estas solicitudes puede degradar la capacidad de respuesta de su aplicación, lo que lleva a una experiencia de usuario deficiente^[1]. El almacenamiento en caché de las instrucciones se perfila como una solución clave para hacer frente a estos retos.

En este artículo, exploraremos qué es exactamente el almacenamiento en caché de instrucciones, en qué se diferencia del almacenamiento en caché convencional, cómo puede aplicarse en entornos de IA y varios casos de uso. También veremos los beneficios y las advertencias a tener en cuenta con el almacenamiento en caché de instrucciones. 

El almacenamiento en caché de instrucciones es un método sencillo para mejorar la velocidad y la rentabilidad de los LLM. Logra estas mejoras almacenando partes frecuentemente sin cambios de una instrucción, como contenido instructivo o consideraciones de material de referencia, para que el modelo no tenga que reprocesar esos tokens repetidamente. 

Por ejemplo, cuando envía una solicitud a un LLM (como "explica qué es la inteligencia artificial"), el modelo lee toda la instrucción para comprender y responder. Si vuelve a enviar la misma instrucción, se repite el mismo procesamiento, lo que aumenta el tiempo y el coste.

Con el almacenamiento en caché de instrucciones, el modelo guarda partes repetidas de una instrucción después de la primera solicitud. Cuando reenvía la misma instrucción, recupera la respuesta almacenada en lugar de reprocesarla. Este proceso hace que las respuestas sean más rápidas, eficaces y rentables, ya que el modelo no tiene que volver a hacer el mismo cálculo para instrucciones idénticas.^[2]

Objetivo y alcance:

• El almacenamiento en caché de instrucciones guarda las instrucciones repetidas de los LLM para evitar que tengan que volver a hacerse los cálculos y reducir la latencia.
• El almacenamiento en caché convencional almacena datos o recursos a los que se accede con frecuencia (por ejemplo, páginas HTML, consultas a bases de datos, respuestas de API, imágenes) para agilizar el acceso futuro.

Fiabilidad del output:

• El almacenamiento en caché de instrucciones solo funciona cuando la instrucción y todos los parámetros (como temperatura, top-p y otros) siguen siendo exactamente los mismos para cada solicitud.
• El almacenamiento en caché convencional es determinista, lo que significa que la misma entrada siempre produce la misma salida (como resultados de consulta o imágenes idénticos).

Rendimiento:

• El almacenamiento en caché de la instrucción reduce el uso de los tokens, el coste de la API y la latencia de extremo a extremo para las solicitudes de LLM repetidas o similares.
• La caché convencional mejora el rendimiento de las aplicaciones, reduce la carga del backend o de la base de datos y disminuye la latencia de red.

Expiración e invalidación:

• El almacenamiento en caché de instrucciones suele estar vinculado a actualizaciones de versiones del modelo o ciclos de reentrenamiento.
• El almacenamiento en caché convencional se gestiona mediante el uso de TTL (tiempo de vida), control de versiones o invalidación manual cuando cambian los datos subyacentes.^[3]

En el almacenamiento en caché de instrucciones, las secciones repetidas de una instrucción se almacenan para que puedan reutilizarse en solicitudes futuras, evitando la necesidad de reenviarlas y reprocesarlas.

Aquí tiene la guía paso a paso sobre cómo funciona:

1. Generación de claves: cuando se envía una instrucción, el sistema crea una clave de caché. 
   La caché de coincidencia exacta utiliza el texto de la instrucción (o un formulario hashado o normalizado) y puede incluir parámetros como el nombre del modelo, la temperatura o la instrucción del sistema. Solo funciona cuando la instrucción y todos los ajustes son idénticos.
   El almacenamiento en caché semántico, alternativamente, genera un embedding de la instrucción y busca entradas semánticamente similares. Este tipo de almacenamiento en caché permite la reutilización incluso si cambia la redacción. Estos dos métodos de almacenamiento en caché son enfoques distintos con puntos fuertes diferentes.
2. Búsqueda de caché: la clave o embedding se compara con el almacenamiento de caché, normalmente un almacenar de clave-valor para una caché más tradicional, o una base de datos vectorial para coincidencias semánticas.
3. Aciertos y errores de caché:  un acierto de caché devuelve un resultado almacenado inmediatamente, evitando el reprocesamiento. La caché envía erróneamente la instrucción al modelo y luego guarda la salida para la próxima vez.
4. Almacenamiento del resultado: si se pierde la caché, cuando el LLM devuelva una respuesta, la salida generada (y a veces el embedding u otros metadatos) se almacenará con esa clave para utilizarla en el futuro.
5. Invalidación: las entradas de la caché pueden caducar en función del tiempo de vida (TTL) definido por el servidor, la actualización del modelo o la desviación del contenido para mantener las respuestas precisas y oportunas.

LangChain proporciona un marco flexible para incorporar almacenamiento en caché de instrucciones en aplicaciones LLM. A diferencia de los sistemas de almacenamiento en caché independientes, LangChain es un marco integrado para crear aplicaciones LLM. Reúne el almacenamiento en caché con otros componentes necesarios en una sola solución, como el encadenamiento, la memoria, la generación aumentada por recuperación (RAG) y la integración de herramientas.

Para obtener más información sobre cómo implementar el almacenamiento en caché de instrucciones mediante lang chain, haga clic en el siguiente enlace:

• Portales interactivos de documentación: el almacenamiento en caché de instrucciones es muy eficaz en sistemas internos de gestión del conocimiento al almacenar respuestas a consultas frecuentes sobre políticas, procedimientos o documentación técnica de la organización. Cuando los empleados buscan repetidamente información similar, las respuestas almacenadas en caché proporcionan respuestas instantáneas sin consultar repetidamente el LLM. 
  
  
• Campañas de marketing: el almacenamiento en caché de instrucciones agiliza los sistemas de chatbot y automatización precomputando y guardando las respuestas a las preguntas más frecuentes. Por ejemplo, las consultas sobre descuentos, especificaciones de productos o disponibilidad de existencias se transmiten para garantizar que los usuarios reciban respuestas rápidas a las preguntas más frecuentes. En momentos de alto tráfico de usuarios, las respuestas almacenadas en caché ayudan a evitar llamadas LLM innecesarias, reduciendo los costes innecesarios de la API y aliviando la latencia.
  
  
• Sistemas de atención al cliente: en los canales de soporte que permiten a los clientes enviar preguntas, las respuestas a las consultas comunes para solucionar problemas, problemas de gestión de cuentas o de facturación pueden ser instrucciones en caché. Conduciría a respuestas más rápidas, a la coherencia con las respuestas proporcionadas y a una menor dependencia del procesamiento del LLM para los mismos tipos de consultas. Estas mejoras pueden conducir a mejoras en eficiencia y a una mayor satisfacción del cliente.^[4]

• Reducción de costes: ahorre en costes de API reutilizando pares de instrucción-respuesta en lugar de llamar al LLM varias veces.
• Velocidad: la entrega de una respuesta almacenada en caché proporciona una respuesta inmediata. Ahorra el tiempo total de procesamiento de la consulta y aumenta el tiempo de respuesta.
• Uso inteligente de recursos: no desperdicie recursos informáticos innecesariamente y reserve recursos para ejecutar otras consultas complejas y variadas.
• Capacidad infinita: gestione de forma razonable el tráfico elevado y las consultas repetidas, y mantenga la aplicación en movimiento sin problemas a medida que se escala.
• Respuestas coherentes: todas las consultas idénticas o similares producen la misma respuesta, una y otra vez, a través de una señal, creando experiencias fiables y fiables para el usuario.
• Experiencia del usuario: ser capaz de proporcionar respuestas más rápidas y predecibles produce interacciones más fluidas para usuarios más satisfechos en una aplicación orientada al cliente.
• Reducción de la carga de trabajo del servidor: Reduzca la carga de trabajo del servidor y permita que su sistema funcione con mayor eficiencia al descargar las consultas que pueden ser respondidas con una respuesta almacenada en caché.^[5]

Las plataformas prominentes utilizan almacenes de almacenamiento en caché de instrucciones a través de escrituras de caché y gestión de retención, al tiempo que utilizan ttl y control de caché para gestionar sus outputs y respetar las tasas, garantizando la protección de datos y los precios de uso en relación con el almacenar. Los esquemas de embedding y las instrucciones del sistema se pueden almacenar en caché para su uso con interacciones en tiempo real para mejorar la usabilidad de la herramienta en múltiples conversaciones multiturno. 

Aunque el almacenamiento en caché de instrucciones puede tener beneficios que valen la pena, es importante tener en cuenta las limitaciones en lo que respecta a la optimización y el rendimiento. Algunas consideraciones clave incluyen: 

• Gestión de consultas dinámicas o que dependen del contexto: si bien el almacenamiento en caché de instrucciones a menudo tiene una utilidad limitada para consultas dinámicas (en el tiempo o a partir de la entrada previa del usuario) o consultas que dependen del contexto, como consultas que podrían incorporar actualizaciones de datos en tiempo real o una conversación repetida de varias rondas, esas consultas deben producir una respuesta que responda a la nueva información.
  
• Respuestas obsoletas: las respuestas almacenadas en caché pueden quedar obsoletas con bastante rapidez si los datos o el contexto han cambiado, lo que proporcionaría información incorrecta o irrelevante en respuesta a una consulta.
  
• Complejidad para casos Edge: Modificar la caché para soportar la reutilización parcial de instrucciones, o para mitigaciones específicas, puede causar más problemas, ya que las modificaciones aumentan la complejidad del diseño y el esfuerzo de implementación del sistema.
  
• Desafíos en el mantenimiento de la caché: La gestión eficaz de la caché (por ejemplo, la configuración de caducidad o las restricciones de almacenamiento) puede conllevar una sobrecarga operativa.^[6][7]

La instrucción de caché es una Estrategia inteligente que mejora el rendimiento de sistemas impulsados por IA, como chatbots, asistentes de codificación y pipelines RAG, para mejorar tanto el rendimiento como la eficiencia. En lugar de realizar varias solicitudes a la API con la misma solicitud para la instrucción completa o la instrucción del sistema, el sistema aprovecha el contenido almacenado en caché (por ejemplo, prefijos de instrucción, prefijos de caché, contenido estático) para representar esos datos ahorrando tanto en tokens de entrada como de salida tokens.

El resultado es una reducción en el número de llamadas a la API, una reducción de los errores de caché y un aumento general significativo en la latencia de respuesta y la experiencia del usuario. 

La caché por instrucción funciona mejor para sistemas con IA como los chatbots, mejora el rendimiento aprovechando los mensajes de usuario, reduciendo las solicitudes de la API y aumentando drásticamente las tasas de acierto de la caché mediante una lectura concisa de la caché.

Para ejecutar una función o responder a solicitudes o consultas posteriores en su aplicación; el almacenamiento en caché de instrucciones ahorra tokens de instrucciones, tokens totales y recuentos de tokens, además de mejorar la facilidad de seguimiento de las métricas. Con el almacenamiento en caché de instrucciones, los equipos pueden realizar un seguimiento de los tokens de instrucción y del total de tokens en tiempo real, y Continuar escalando grandes modelos de lenguaje a un coste, velocidad y fiabilidad óptimos a escala global para casos de uso de IA generativa.