Son muchos los factores que intervienen en la elección de un modelo que funcione bien para su proyecto.

La licencia del modelo puede restringir la forma en que se puede utilizar. Por ejemplo, la licencia de una modelo puede impedir que se utilice como parte de una solicitud comercial.

El conjunto de datos utilizado para entrenar el modelo de formación tiene un impacto directo en lo bien que funciona el modelo para una aplicación específica y afecta significativamente al riesgo de que el modelo pueda generar respuestas no sensatas, ofensivas o simplemente no deseadas. Del mismo modo, los modelos entrenados con datos protegidos por derechos de autor o privados pueden exponer a sus usuarios a responsabilidades legales. IBM proporciona total transparencia de los datos de formación e indemnización por reclamaciones legales derivadas de sus modelos.

El tamaño del modelo, con cuántos parámetros se entrena y el tamaño de su ventana de contexto (cuánto tiempo de texto puede aceptar el modelo) afectan al rendimiento del modelo, a los requisitos de recursos y al rendimiento. Aunque es tentador seguir la filosofía de "cuanto más grande, mejor" y elegir un modelo de 20 000 millones de parámetros, es posible que los recursos necesarios y la mejora (si la hay) de la precisión no lo justifiquen. Estudios recientes han demostrado que los modelos más pequeños pueden superar significativamente a los más grandes para algunas soluciones.

Cualquier ajuste aplicado a un modelo puede afectar a su idoneidad para una tarea. Por ejemplo, IBM ofrece dos versiones del modelo Granite: una ajustada para aplicaciones generales de chat y otra ajustada para seguir instrucciones.

Otras consideraciones a la hora de elegir un modelo son:

• Selección de los parámetros del modelo, por ejemplo, la temperatura del modelo, para equilibrar la creación de respuestas textuales y fácticas similares a las humanas. Ajustar la temperatura del modelo a un valor alto generará respuestas coherentes pero potencialmente poco interesantes o demasiado escuetas, mientras que ajustar la temperatura a un valor bajo introducirá más variedad en las respuestas pero añadirá imprevisibilidad en la longitud y el contenido de las mismas.

• Selección e implementación de barandillas modelo para protegerse contra resultados ineficaces u ofensivos.

La elección del modelo depende de la aplicación, el tipo de datos y los requisitos de soporte lingüístico. Es posible que los modelos de incrustación deban ampliarse para codificar y buscar con precisión términos o acrónimos específicos de sectores o del cliente.

Las bases de datos vectoriales son solo una opción para implementar el almacenar de datos de incrustación. Watsonx Discovery proporciona herramientas y funciones adicionales que pueden mejorar el rendimiento y la precisión de una solución RAG; y algunas bases de datos "tradicionales" proporcionan almacenamiento y búsqueda vectoriales y/o búsquedas por similitud que admiten una solución RAG.

También hay numerosas opciones para bases de datos vectoriales. Las bases de datos en memoria simples que se integran directamente en las aplicaciones de IA gen proporcionan un excelente rendimiento en tiempo de ejecución, pero es posible que no se escalen bien a grandes conjuntos de datos y que presenten importantes desafíos operativos para mantenerse al día o para escalar a configuraciones de varios servidores. Otras bases de datos que utilizan una arquitectura de servidor central son más fáciles de operar y escalar, pero es posible que no satisfagan las necesidades de rendimiento de la solución específica.

Existen varios métodos para integrar el modelo de recuperación y generación. Recuperar los K mejores pasajes y utilizarlos para aumentar la consulta del usuario es sencillo y rápido, pero puede carecer de los matices necesarios para responder a preguntas complejas. La simple búsqueda por palabra clave también puede dar resultados satisfactorios.

Las soluciones más complejas pueden utilizar un LLM para generar múltiples consultas a partir de la consulta original del usuario y utilizarlas para recuperar un conjunto mayor de pasajes. Se puede añadir lógica adicional para ordenar y seleccionar los pasajes recuperados con mayor relevancia.

El preprocesamiento de los datos antes de introducirlos en el sistema RAG es un paso importante para garantizar que los datos de entrada estén en un formato adecuado para el modelo. Los métodos más sencillos consisten en dividir los datos de entrada en trozos de tamaño fijo con solapamientos (por ejemplo, los diez últimos caracteres de un fragmento son los diez primeros caracteres del siguiente), pero esto puede hacer que se pierdan matices en los datos de entrada.

Un preprocesamiento más avanzado podría manipular el texto de entrada para eliminar las terminaciones de palabras comunes, por ejemplo: "stopper", "stopping" y "stopped" se convierten en "stop"); eliminar palabras "stop" no informativas como "the", "as", "is" y similares; y otras técnicas. Estos pueden mejorar sustancialmente la relevancia de la información recuperada, pero agregan complejidad tanto a las fases de incorporación de datos como a las de solicitud al usuario.

Incluso técnicas más avanzadas pueden funcionar con frases completas, para mantener la mayor cantidad posible del significado en el texto.

Evaluar el rendimiento de un sistema RAG puede resultar difícil debido a la complejidad de la tarea. Las métricas de evaluación comunes incluyen perplejidad, fluidez, relevancia y coherencia, así como las métricas BLU y ROUGE. Es importante elegir métricas que se alineen con los objetivos específicos de la tarea y los resultados deseados.

RAG requiere texto sin formato y la elección de los métodos de conversión tiene un gran impacto en la calidad de los datos. Por ejemplo, al convertir archivos PDF, cómo se gestionan las tablas, las imágenes y otros elementos de metadatos.

Generar una respuesta similar a la humana a partir de un LLM requiere importantes recursos informáticos y, a menudo, puede tardar varios segundos en función del tamaño del modelo, la complejidad de la consulta del usuario y la cantidad de información aumentada que se pasa al modelo. Las soluciones que necesitan atender a grandes grupos de usuarios o requieren tiempos de respuesta rápidos pueden necesitar implementar un mecanismo para almacenar en caché las respuestas del modelo a las consultas frecuentes.

Incrustar información patentada, potencialmente confidencial y potencialmente identificable personalmente en las instrucciones de LLM es fundamental y necesario para el patrón RAG. Las organizaciones que utilizan plataformas de modelos alojados deben conocer las políticas de los proveedores, como las políticas de retención y uso de datos de instrucción (p. ej. ¿El proveedor capta datos de instrucción y los utiliza para el reentrenamiento del modelo?), controles para evitar que los datos de las instrucciones se "filtren" a otros usuarios, etc.; y equilibrarlos con sus propias políticas y controles de seguridad de la información.

Aunque la transmisión de cierta información patentada es inevitable, las organizaciones pueden limitar su exposición incluyendo solo referencias de documentos o URL a la información más confidencial en los datos procesados. Por ejemplo, en lugar de incrustar una tabla de descuentos de precios en los datos RAG, incluya solo una descripción de la tabla y una referencia o enlace a un documento interno o sitio web en el contenido.

La simple seguridad a nivel de transporte (TLS) en las comunicaciones entre zonas puede ser suficiente para satisfacer los requisitos de seguridad de los datos, pero los arquitectos pueden tener que considerar la posibilidad de proporcionar una protección adicional mediante la adición de componentes para cifrar y descifrar las instrucciones y respuestas antes de pasarlas a través del límite de la zona.

El tipo de conexión entre las zonas de implementación tiene impactos en varios requisitos no funcionales. El uso de una conexión de red privada virtual (VPN) a través de la Internet pública es una opción de bajo coste, pero es posible que no alivie por completo los problemas de seguridad y que no pueda cumplir con los requisitos de tiempo de respuesta o rendimiento de la solución. Una conexión de red privada al entorno de alojamiento del modelo tiene un coste mucho mayor, pero ofrece una seguridad significativamente mejor y proporciona a los arquitectos la capacidad de controlar la latencia de la red y el ancho de banda.