Uso de Tiny Milvus en IBM watsonx Orchestrate en entorno local
La versión «Tiny» de Milvus se diferencia de otras configuraciones de Milvus disponibles en watsonx.data, que ofrecen una mayor escalabilidad y funciones de nivel empresarial.
Milvus (versión compacta) solo es compatible con implementaciones locales.
Milvus es una base de datos vectorial ligera y de un solo nodo incluida en watsonx.data como parte de la oferta de watsonx Orchestrate para entornos locales. Basado en el proyecto de código abierto Milvus, está diseñado para la experimentación y el desarrollo en fases iniciales, lo que lo convierte en una herramienta ideal para la exploración de la IA basada en vectores con unos requisitos mínimos de recursos.
Casos de uso
Las siguientes funciones utilizan el servicio integrado « watsonx.data » (Tiny Milvus ) incluido en la oferta de « watsonx Orchestrate » para entornos locales:
Catálogo de agentes
Carga información sobre agentes, herramientas y otros metadatos en Tiny Milvus.
Permite la búsqueda semántica en el catálogo.
Conocimiento del agente
Utiliza Tiny Milvus cuando añade conocimientos a un agente a través de la función de carga de archivos de conocimientos. Consulte Cargar archivos como fuente de conocimiento para obtener más detalles.
Milvus no se utiliza si se eligen otras opciones de fuentes de conocimiento, como Elasticsearch, Milvus (instaladas por separado), Astra DB o un servicio personalizado.
Chat con documento
El chat con documentos utiliza Tiny Milvus para almacenar y recuperar contenido de los archivos subidos durante las conversaciones en Orchestrate Chat.
Limitaciones de Tiny Milvus
Tiny Milvus está optimizado para casos de uso ligeros y es adecuado para pruebas rápidas y experimentación temprana sin una infraestructura pesada. Sin embargo, tiene las siguientes limitaciones:
Máximo de vectores creados: 10000
Máximo de colecciones creadas: 100
Milvus (versión Tiny) no está pensado para cargas de trabajo de producción.
Comprender las pautas de uso
La siguiente tabla le ayudará a comprender el número de vectores y colecciones que se crean en las tres funciones para que no supere el límite máximo.
Característica | Número de colecciones creadas | Número de vectores creados | Cuando se crean las colecciones o vectores |
|---|---|---|---|
Catálogo | 1 | 800-1000 con contenido predefinido cargado | Durante la configuración |
de 1 a 40 vectores por agente o herramienta en función de la complejidad del agente | Por cada agente o herramienta adicional | ||
Conocimiento del agente | 1 por agente | 3 vectores cuando se carga un documento de 1000 palabras | Al utilizar la función de carga de archivos desde Knowledge source |
Chat con documento | 1 por hilo | 3 vectores cuando se carga un documento de 1000 palabras | Al cargar el archivo desde Orchestrate Chat |
Las colecciones y los vectores que se producen a partir de los documentos cargados se eliminan cuatro horas después de la última carga en el hilo |
Consejo: Controle su uso para evitar problemas de rendimiento o de memoria.
Seguimiento del uso
Para hacer un seguimiento de tu uso actual y asegurarte de que te mantienes dentro de los límites de uso de Tiny Milvus, utiliza PyMilvus u otro cliente de Milvus para:
Ejecuta consultas «count(*)» para comprobar el número de vectores (alias de entidades) en cada colección.
Gestión de los límites de uso
No se produce ningún error si el uso real supera los límites de 10000 vectores o 100 colecciones. Sin embargo, la superación de estos umbrales podría dar lugar a:
Rendimiento más lento
Posibilidad de errores del sistema por memoria insuficiente
Para mantener un rendimiento óptimo, se recomienda permanecer dentro de los límites definidos o vigilar de cerca el uso cuando se amplíe.
Más allá de Tiny Milvus
Si tu caso de uso requiere más capacidad o un rendimiento de nivel de producción, utiliza cualquiera de los siguientes repositorios de contenido externos, que se instalan por separado de watsonx Orchestrate :
Elasticsearch
Milvus (se instala por separado)
BD Astra
Servicio personalizado
Para utilizar un repositorio de contenidos externo :
Ingeste sus documentos en la base de datos vectorial externa utilizando herramientas como watsonx.ai o Langflow.
Configure una conexión a la base de datos externa mediante el Conocimiento del Agente.