Una organización que cuente con un sistema de asistencia de varios niveles puede recurrir a un asistente conversacional, o chatbot, basado en un modelo de lenguaje de gran tamaño, junto con agentes humanos, para ofrecer una asistencia eficiente y completa a los usuarios finales.
Patrones de arquitectura de IA generativa
- Generación aumentada por recuperación
- Conversación con asistencia a agentes
- Búsqueda generativa
- Razonamiento, conocimiento y lenguaje modulares
- Resumen de documentos
- Modernización y generación de código
- Generación de código para Ansible
- Generación de código para Z
- Desarrollo de software aumentado con IA con agentes
En el diagrama anterior se muestra la arquitectura para conversaciones con asistencia a agentes. Los pasos principales del flujo de la arquitectura son:
Los documentos de la empresa, como manuales de productos, documentos de preguntas frecuentes, materiales de oferta, folletos, tiques de soporte resueltos y otros, se ingieren en una instancia de IBM watsonx Discovery y se preparan para la búsqueda semántica.
Los usuarios envían solicitudes, problemas o preguntas a través de una interfaz en el sitio web de la organización, una aplicación dedicada u otras plataformas. IBM watsonx Assistant, que actúa como interfaz principal para las interacciones basadas en chat, facilita esta interacción.
Para las solicitudes que requieren la recuperación de datos de los documentos o la base de conocimientos de la organización, se recurre a IBM watsonx Discovery para que busque y recupere los pasajes de información más relevantes para la solicitud del usuario.
A continuación, watsonx Assistant envía la solicitud del usuario y la información relevante recuperada de watsonx Discovery a un modelo de lenguaje de gran tamaño (LLM) alojado en watsonx.ai.
El LLM sintetiza la solicitud del usuario y la información suministrada junto con el conocimiento incorporado del LLM y genera una respuesta de tipo humano que se devuelve a watsonx.ai y que, potencialmente tras formatearla y someterla a otros procesamientos, se presenta al usuario.
Si el usuario no está satisfecho con la respuesta generada (por ejemplo, su solicitud tiene matices, es compleja o requiere conocimientos específicos), puede optar por que watsonx Assistant escale la llamada a un agente humano. Del mismo modo, las interacciones pueden escalarse automáticamente si se detecta que la respuesta del LLM es poco fiable o potencialmente ofensiva. Los usuarios pueden optar por interactuar con un representante humano en cualquier momento. watsonx Assistant transfiere con fluidez la interacción a un agente humano a través del sistema de gestión del centro de contacto de la empresa.
Un agente humano, con pleno acceso al historial de chat de watsonx Assistant, ayuda al usuario a resolver su solicitud, problema o pregunta.
Tras la resolución, el sistema, a través de watsonx Assistant, puede solicitar el feedback del usuario. Este feedback ayuda a perfeccionar futuras interacciones mediante el análisis de las consultas omitidas o escaladas con frecuencia y permite a la organización ajustar el LLM alojado en watsonx.ai y/o retocar los parámetros de búsqueda de watsonx Discovery para mejorar el rendimiento.
En el siguiente diagrama se muestra la asignación del portfolio de productos de IA de IBM watsonx a la arquitectura conceptual. watsonx Assistant proporciona las capacidades de interacción del componente Virtual Assistant, mientras que watsonx Discovery, un complemento de watsonx Assistant, proporciona capacidades de ingesta de documentos y búsqueda semántica. El entorno de desarrollo y alojamiento del modelo de watsonx.ai se utiliza para seleccionar, ajustar, probar e implementar el modelo de lenguaje de gran tamaño.
Algunos clientes no disponen de watsonx.ai en su región local, o pueden tener problemas de seguridad o requisitos normativos que les impidan utilizar el estudio de IA de nivel empresarial de watsonx.ai. Para estos clientes, ofrecemos watsonx.ai como un conjunto de servicios contenerizados que pueden implementarse en Red Hat Openshift ejecutándose dentro de los centros de datos de los clientes, dentro de una nube privada virtual (VPC) en la infraestructura de un proveedor de servicios en la nube, o en otra ubicación.
Consideraciones y decisiones sobre la arquitectura
Elección del modelo de generación
Son muchos los factores que intervienen a la hora de elegir un modelo que funcione bien para su proyecto.
La licencia del modelo puede restringir su uso. Por ejemplo, puede impedir que se utilice como parte de una aplicación comercial.
El conjunto de datos utilizado para entrenar al modelo tiene un impacto directo en la eficacia del mismo para una aplicación específica y afecta de manera significativa al riesgo de que el modelo genere respuestas absurdas, ofensivas o simplemente no deseadas. Del mismo modo, los modelos entrenados con datos privados o con derechos de autor pueden exponer a sus usuarios a responsabilidades legales. IBM ofrece todos los datos de entrenamiento, transparencia e indemnización por las demandas legales derivadas de sus modelos
.El tamaño del modelo, con cuántos parámetros se entrena y el tamaño de su ventana de contexto (qué longitud de pasaje de texto puede aceptar el modelo) afectan al rendimiento, las necesidades de recursos y el rendimiento del modelo. Aunque resulta tentador seguir la filosofía de "cuanto más grande, mejor" y elegir un modelo de 20 000 millones de parámetros, es posible que las necesidades de recursos y la mejora (si la hay) de la precisión no lo justifiquen. Estudios recientes han demostrado que los modelos más pequeños pueden superar significativamente a los más grandes en algunas soluciones.
Cualquier afinación aplicada a un modelo puede afectar a su idoneidad para una tarea. Por ejemplo, IBM ofrece dos versiones del modelo Granite: una afinada para aplicaciones generales de chat y otra afinada para seguir instrucciones.
Otras consideraciones a la hora de elegir un modelo son:
Selección de los parámetros del modelo, p. ej. la temperatura del mismo, para equilibrar la creación de respuestas textuales y objetivas de tipo humano. Ajustar la temperatura del modelo a un valor alto generará respuestas coherentes pero potencialmente poco interesantes o demasiado escuetas, mientras que ajustar la temperatura a un valor bajo introducirá más variedad en las respuestas pero añadirá imprevisibilidad en la longitud y el contenido de las mismas.
Selección e implementación de barandillas para los modelos para evitar resultados ineficaces u ofensivos.
El idioma de los datos del cliente y las instrucciones del usuario también deben tenerse en cuenta. La mayoría de los LLM están entrenados con textos en inglés y a menudo pueden traducir entre el inglés y otros idiomas con distintos niveles de pericia. Las aplicaciones que requieren un soporte lingüístico multilingüe o localizado pueden requerir el uso de varios modelos entrenados en cada uno de los idiomas admitidos, o la implementación de un paso de traducción para traducir las entradas multilingües al inglés o a otro idioma "base".