Arquitectura conceptual

Son muchos los factores que intervienen a la hora de elegir un modelo que se adapte bien a su proyecto.

La licencia del modelo puede restringir cómo se puede usar. Por ejemplo, la licencia de un modelo puede impedir que se utilice como parte de una aplicación comercial.

El conjunto de datos que se emplea para capacitar el modelo tiene un impacto directo en el funcionamiento del modelo para una aplicación específica y afecta significativamente el riesgo de que el modelo pueda generar respuestas sin sentido, ofensivas o simplemente no deseadas. De manera similar, los modelos capacitados con datos privados o sujetos a derechos de autor pueden exponer a sus usuarios a responsabilidad legal. IBM ofrece total transparencia en los datos de entrenamiento y protección frente a demandas legales derivadas de sus modelos.

El tamaño del modelo, con cuántos parámetros se entrena y el tamaño de su ventana de contexto (cuánto tiempo de un pasaje de texto puede aceptar el modelo) afectan el rendimiento del modelo, los requisitos de recursos y el rendimiento. Si bien es tentador optar por una filosofía de "cuanto más grande, mejor" y elegir un modelo de 20 000 millones de parámetros, es posible que los requisitos de recursos y la mejora (si la hay) en la precisión no lo justifiquen. Estudios recientes han demostrado que los modelos más pequeños pueden superar significativamente a los más grandes para algunas soluciones.

Cualquier ajuste aplicado a un modelo puede afectar su idoneidad para una tarea. Por ejemplo, IBM ofrece dos versiones del modelo Granite: una ajustada para aplicaciones generales de chat y otra ajustada para seguir instrucciones.

Otras consideraciones al elegir un modelo incluyen:

• Selección de los parámetros del modelo, p. ej. la temperatura del modelo, para equilibrar la creación de texto similar al humano y las respuestas fácticas. Establecer la temperatura del modelo en un valor alto generará respuestas consistentes pero potencialmente poco interesantes o demasiado concisas, mientras que establecer la temperatura en un valor bajo introducirá más variedad en las respuestas, pero agregará imprevisibilidad en la longitud y el contenido de la respuesta.

• Selección e implementación de medidas de protección modelo para protegerse contra resultados ineficaces u ofensivos.

La elección del modelo depende de la aplicación, el tipo de datos y los requisitos de soporte del idioma. Es posible que los modelos de incrustación deban ampliarse para codificar y buscar con precisión términos o acrónimos específicos de la industria o del cliente.

Las bases de datos vectoriales son solo una opción para implementar el almacenar de datos de incrustación. watsonx Discovery proporciona herramientas y funciones adicionales que pueden mejorar el rendimiento y la precisión de una solución RAG; y algunas bases de datos "tradicionales" proporcionan almacenamiento y búsqueda vectoriales y/o búsquedas por similitud que admiten una solución RAG.

También hay numerosas opciones para bases de datos vectoriales. Las bases de datos en memoria simples que se integran directamente en las aplicaciones de IA gen proporcionan un excelente rendimiento en tiempo de ejecución, pero es posible que no se escalen bien a grandes conjuntos de datos y que presenten importantes desafíos operativos para mantenerse al día o para escalar a configuraciones de varios servidores. Otras bases de datos que utilizan una arquitectura de servidor central son más fáciles de operar y escalar, pero es posible que no satisfagan las necesidades de rendimiento de la solución específica.

Existen varios métodos para integrar el modelo de recuperación y generación. Recuperar los K mejores pasajes y utilizarlos para aumentar la consulta del usuario es sencillo y rápido, pero puede carecer de los matices necesarios para responder a preguntas complejas. La simple búsqueda por palabra clave también puede dar resultados satisfactorios.

Las soluciones más complejas pueden utilizar un LLM para generar múltiples consultas a partir de la consulta original del usuario y utilizarlas para recuperar un conjunto mayor de pasajes. Se puede añadir lógica adicional para ordenar y seleccionar los pasajes recuperados con mayor relevancia.

El preprocesamiento de los datos antes de introducirlos en el sistema RAG es un paso importante para garantizar que los datos de entrada estén en un formato adecuado para el modelo. Los métodos más sencillos consisten en dividir los datos de entrada en trozos de tamaño fijo con solapamientos (por ejemplo, los diez últimos caracteres de un fragmento son los diez primeros caracteres del siguiente), pero esto puede hacer que se pierdan matices en los datos de entrada.

Un preprocesamiento más avanzado podría manipular el texto de entrada para eliminar las terminaciones de palabras comunes, por ejemplo: "stopper", "stopping" y "stopped" se convierten en "stop"); eliminar palabras "stop" no informativas como "the", "as", "is" y similares; y otras técnicas. Estos pueden mejorar sustancialmente la relevancia de la información recuperada, pero agregan complejidad tanto a las fases de incorporación de datos como a las de solicitud al usuario.

Incluso técnicas más avanzadas pueden operar en oraciones completas, para mantener la mayor cantidad posible de significado en el texto.

Evaluar el rendimiento de un sistema RAG puede resultar difícil debido a la complejidad de la tarea. Las métricas de evaluación comunes incluyen perplejidad, fluidez, relevancia y coherencia, así como las métricas BLU y ROUGE. Es importante elegir métricas que se alineen con los objetivos específicos de la tarea y los resultados deseados.

RAG requiere texto sin formato y la elección de los métodos de conversión tiene un gran impacto en la calidad de los datos. Por ejemplo, al convertir archivos PDF, cómo se gestionan las tablas, las imágenes y otros elementos de metadatos.

Generar una respuesta similar a la humana a partir de un LLM requiere importantes recursos informáticos y, a menudo, puede tardar varios segundos en función del tamaño del modelo, la complejidad de la consulta del usuario y la cantidad de información aumentada que se pasa al modelo. Las soluciones que necesitan atender a grandes grupos de usuarios o requieren tiempos de respuesta rápidos pueden necesitar implementar un mecanismo para almacenar en caché las respuestas del modelo a las consultas frecuentes.

Incrustar información patentada, potencialmente confidencial y potencialmente de identificación personal en las instrucciones de LLM es fundamental y necesario para el patrón RAG. Las organizaciones que utilizan plataformas de modelos alojados deben conocer las políticas de los proveedores, como las políticas de retención y uso de datos de instrucción (p. ej. ¿El proveedor capta datos de instrucción y los utiliza para el reentrenamiento del modelo?), controles para evitar que los datos de las instrucciones se "filtren" a otros usuarios, etc.; y equilibrarlos con sus propias políticas y controles de seguridad de la información.

Si bien la transmisión de cierta información confidencial es inevitable, las organizaciones pueden limitar su exposición incluyendo solo referencias de documentos o URL a la información más confidencial en los datos procesados. Por ejemplo, en lugar de incorporar una tabla de descuentos de precios en los datos de RAG, incluya solo una descripción de la tabla y una referencia o enlace a un documento o sitio web interno en el contenido.

La seguridad a nivel de transporte (TLS) simple en las comunicaciones entre zonas puede ser suficiente para satisfacer los requisitos de seguridad de los datos, pero es posible que los arquitectos deban considerar proporcionar protección adicional agregando componentes para cifrar y descifrar las instrucciones y respuestas antes de pasarlas a través de los límites de la zona.

El tipo de conexión entre las zonas de despliegue tiene impacto en varios requisitos no funcionales. El uso de una conexión de red privada virtual (VPN) a través de la Internet pública es una opción de bajo costo, pero es posible que no elimine por completo las preocupaciones de seguridad y es posible que no pueda cumplir con los requisitos de tiempo de respuesta o rendimiento de la solución. Una conexión de red privada al entorno de alojamiento del modelo tiene un costo mucho mayor, pero ofrece una seguridad significativamente mejor y proporciona a los arquitectos la capacidad de controlar la latencia de la red y el ancho de banda.