Automatización de un patrón RAG con AutoAI

Estimación de los costes de un patrón RAG

AutoAI para los experimentos RAG utilizan Horas Unidad de Capacidad (CUH) para el entrenamiento del experimento y durante el experimento se consumen tokens para incrustar documentos e inferir los modelos de fundamentos.

• CUH es una medida estándar de 20 CUH por hora para el entorno soportado. La CUH consumida para un experimento depende de la complejidad del mismo y del tiempo necesario para evaluar los patrones.
• El consumo de fichas depende de varios factores, entre ellos:
  • tamaño de la colección de documentos para incrustar
  • número de preguntas de evaluación y respuestas para incrustar
  • configuración de fragmentación, calculada mediante esta fórmula: ((Chunk overlap + Chunk size) * Chunk count) * Evaluation records
  • el número de patrones que crea el experimento

Este ejemplo muestra cómo se calculan los recursos para un único patrón RAG.

Experimentar entrada:

• 100 páginas de documento
• 25 registros de preguntas/respuestas de evaluación

Respuestas precisas con generación mejorada por recuperación

RAG combina la potencia generativa de un gran modelo lingüístico con la precisión de una colección de documentos de base. La interacción con una aplicación RAG sigue este patrón:

1. Un usuario envía una pregunta a la aplicación.
2. La búsqueda recupera primero el contexto pertinente a partir de un conjunto de documentos de base.
3. El gran modelo lingüístico que lo acompaña genera una respuesta que incluye la información pertinente.

Por ejemplo, los cuadernos de muestra que se proporcionan para esta función utilizan la documentación del producto para la biblioteca de clientes watsonx.ai Python como documentos de base para una aplicación de preguntas y respuestas sobre la codificación de soluciones watsonx.ai. Los usuarios de patrones se benefician de la información específica y relevante de la documentación, mientras que el modelo generativo de IA añade contexto y presenta las respuestas en lenguaje natural.

Para obtener una descripción completa y ejemplos de cómo la generación aumentada por recuperación puede mejorar sus aplicaciones de preguntas y respuestas, consulte ' Generación aumentada por recuperación (RAG).

Automatización de la búsqueda de la mejor configuración RAG

RAG incluye muchos parámetros de configuración, como qué modelo lingüístico elegir, cómo trocear los documentos de base y cuántos documentos recuperar. Las opciones de configuración que funcionan bien para otro caso de uso pueden no ser la mejor opción para sus datos. Para crear el mejor patrón RAG posible para su conjunto de datos, podría explorar todas las combinaciones posibles de opciones de configuración RAG para encontrar, evaluar e implantar la mejor solución. Esta parte del proceso puede requerir una importante inversión de tiempo y recursos. Del mismo modo que puede utilizar AutoAI para entrenar y optimizar rápidamente los modelos de aprendizaje automático, puede utilizar las capacidades de AutoAI para automatizar la búsqueda de la solución óptima de GAR en función de sus datos y su caso de uso. Acelerar la experimentación puede reducir drásticamente el plazo de producción.

Entre las principales características del enfoque AutoAI se incluyen:

• Exploración y evaluación completas de un conjunto limitado de opciones de configuración.
• Reevaluar y modificar rápidamente la configuración cuando algo cambia. Por ejemplo, puede volver a ejecutar fácilmente el proceso de formación cuando disponga de un nuevo modelo o cuando los resultados de la evaluación indiquen un cambio en la calidad de las respuestas.

El uso de AutoAI automatiza el flujo de extremo a extremo, desde la experimentación hasta el despliegue. El siguiente diagrama ilustra el enfoque de AutoAI para encontrar un patrón RAG optimizado para sus datos y caso de uso en 3 capas:

• En el nivel básico se encuentran las canalizaciones RAG parametrizadas que se utilizan para rellenar un almacén de vectores (índice) y recuperar datos del almacén de vectores para utilizarlos cuando el modelo de lenguaje amplio genera respuestas.
• A continuación, las métricas de evaluación RAG y las herramientas de evaluación comparativa evalúan la calidad de la respuesta.
• Por último, un algoritmo de optimización de hiperparámetros busca la mejor configuración RAG posible para sus datos.

AutoAI Proceso de optimización RAG

La ejecución de experimentos mediante el uso de AutoAI RAG evita probar todas las opciones de configuración de RAG (por ejemplo, evita una búsqueda en cuadrícula) mediante el uso de un algoritmo de optimización de hiperparámetros. El siguiente diagrama muestra un subconjunto del espacio de búsqueda de configuraciones RAG con 16 patrones RAG entre los que elegir. Si el experimento las evalúa todas, se clasifican del 1 al 16, y las tres configuraciones mejor clasificadas se etiquetan como las más eficaces. El algoritmo de optimización determina qué subconjunto de patrones RAG evaluar y deja de procesar los demás, que se muestran en gris. Este proceso evita explorar un espacio de búsqueda exponencial sin dejar de seleccionar los patrones RAG con mejor rendimiento en la práctica.

Utilice la vía rápida para automatizar la búsqueda de un patrón RAG

AutoAI ofrece una solución sin código para automatizar la búsqueda de un patrón RAG. Para utilizar la ruta rápida, parta de un proyecto y utilice la interfaz AutoAI para cargar sus documentos de puesta a tierra y de prueba. Acepte la configuración por defecto o actualice la configuración del experimento. Ejecute el experimento para crear los patrones RAG más adecuados para su caso de uso.

Utilizar el SDK AutoAI para codificar un patrón RAG

Utilice los cuadernos de ejemplo para aprender a utilizar el watsonx.ai Python biblioteca cliente (versión 1.1.11 o posterior) para codificar una solución RAG automatizada para su caso de uso.

Escalar un experimento RAG

AutoAI automatiza la búsqueda de un patrón RAG optimizado basado en sus documentos de base. Si su base de conocimientos de documentación supera los límites de datos permitidos para un experimento, puede utilizar AutoAI para encontrar el patrón RAG y, a continuación, utilizar el cuaderno de indexación generado automáticamente que se crea al guardar un patrón para indexar más documentos. El patrón RAG se aplicará al conjunto más amplio de documentos indexados.

Para más detalles, consulte Guardar un patrón RAG.

Características soportadas

Revise estos detalles para conocer las características que ofrece el proceso RAG ( AutoAI ).

Modelos de cimientos compatibles

Puede utilizar estos modelos con AutoAI RAG:

• granite-3-3-8b-instruct

• granite-3-8b-instruct

• llama-3-1-70b-instruct

• llama-3-3-70b-instruct

• llama-3-1-8b-instruct

• llama-4-maverick-17b-128e-instruct-fp8

• mistral-small-3-1-24b-instruct-2503

• mistral-medium-2505

• mistral-large

Próximos pasos

• Consulte Elegir un almacén de vectores para planificar dónde almacenar sus documentos vectorizados.
• Véase Creación de un experimento RAG (fastpath)