Un sistema de asistencia de varios niveles en una organización puede utilizar un asistente conversacional o chatbot basado en un modelo de lenguaje de gran tamaño, junto con agentes humanos, para ofrecer una asistencia eficaz y completa a los usuarios finales.
- Generación aumentada por recuperación
- Conversación con asistencia a agentes
- Búsqueda generativa
- IA agéntica
- Resumen de documentos
- Modernización y generación de código
- Generación de código para Ansible
- Generación de código para Z
- Desarrollo de software aumentado por IA con agentes
En el diagrama anterior se muestra la arquitectura para conversaciones con asistencia a agentes. Los pasos principales del flujo de la arquitectura son:
Los documentos de la empresa, como manuales de productos, documentos de preguntas frecuentes, materiales de oferta, folletos, tiques de soporte resueltos y otros, se consumen en una instancia de IBM® watsonx Discovery y se preparan para la búsqueda semántica.
Los usuarios envían solicitudes, problemas o preguntas a través de una interfaz en el sitio web de la organización, una aplicación dedicada u otras plataformas. Esta interacción se ve facilitada por IBM watsonx Assistant, que actúa como interfaz principal para las interacciones basadas en chat.
Para las solicitudes que requieren la recuperación de datos de los documentos o la base de conocimientos de la organización, se recurre a IBM watsonx Discovery para que busque y recupere los pasajes de información más relevantes para la solicitud del usuario.
A continuación, watsonx Assistant envía la solicitud del usuario y la información relevante recuperada de watsonx Discovery a un modelo de lenguaje de gran tamaño (LLM) alojado en watsonx.ai.
El LLM sintetiza la solicitud del usuario y la información suministrada junto con el conocimiento incorporado del LLM y genera una respuesta de tipo humano que se devuelve a watsonx.ai y que, potencialmente tras formatearla y someterla a otros procesamientos, se presenta al usuario.
Si el usuario no está satisfecho con la respuesta generada (por ejemplo, su solicitud es matizada, compleja o requiere conocimientos específicos), puede optar por que watsonx Assistant escale la llamada a un agente humano. Del mismo modo, las interacciones pueden intensificarse automáticamente si se detecta que la respuesta del LLM es de baja confianza o potencialmente ofensiva. Los usuarios pueden optar por interactuar con un representante humano en cualquier momento. watsonx Assistant realiza una transición fluida de la interacción a un agente humano a través del sistema de gestión del centro de contacto de la empresa.
Un agente humano, con pleno acceso al historial de chat de watsonx Assistant, ayuda al usuario a resolver su solicitud, problema o pregunta.
Después de la resolución, el sistema, a través de watsonx Assistant, puede solicitar comentarios de los usuarios. Este feedback ayuda a refinar las interacciones futuras al analizar las consultas que se pierden o se escalan con frecuencia y permiten a la organización ajustar el LLM alojado en watsonx.ai y/o modificar los parámetros de búsqueda de watsonx Discovery para mejorar el rendimiento.
La correspondencia entre la familia de productos IBM watsonx y la arquitectura conceptual se muestra en el siguiente diagrama. watsonx Assistant proporciona las capacidades de interacción del componente asistente virtual, mientras que watsonx Discovery, un complemento de watsonx Assistant, proporciona capacidades de ingesta de documentos y búsqueda semántica. El entorno de desarrollo y alojamiento de modelos watsonx.ai se utiliza para seleccionar, ajustar, probar e implementar el modelo de lenguaje de gran tamaño.
Algunos clientes no tienen watsonx.ai disponible en su región local, o pueden tener problemas de seguridad o requisitos reglamentarios que les impidan utilizar el watsonx.ai Solución SaaS. Para estos clientes, ofrecemos watsonx.ai como un conjunto de servicios en contenedores que se pueden implementar en Red Hat Openshift ejecutándose dentro de los centros de datos de los clientes, dentro de una nube privada virtual (VPC) en la infraestructura de un proveedor de servicios en la nube u otra ubicación.
Decisiones y consideraciones arquitectónicas
Elección del modelo de generación
Son muchos los factores que intervienen en la elección de un modelo que funcione bien para su proyecto.
La licencia del modelo puede restringir la forma en que se puede utilizar. Por ejemplo, la licencia de una modelo puede impedir que se utilice como parte de una solicitud comercial.
El conjunto de datos utilizado para entrenar el modelo de formación tiene un impacto directo en lo bien que funciona el modelo para una aplicación específica y afecta significativamente al riesgo de que el modelo pueda generar respuestas no sensatas, ofensivas o simplemente no deseadas. Del mismo modo, los modelos entrenados con datos protegidos por derechos de autor o privados pueden exponer a sus usuarios a responsabilidades legales. IBM proporciona total transparencia de los datos de formación e indemnización por reclamaciones legales derivadas de sus modelos.
El tamaño del modelo, con cuántos parámetros se entrena y el tamaño de su ventana de contexto (cuánto tiempo de texto puede aceptar el modelo) afectan al rendimiento del modelo, a los requisitos de recursos y al rendimiento. Aunque es tentador seguir la filosofía de "cuanto más grande, mejor" y elegir un modelo de 20 000 millones de parámetros, es posible que los recursos necesarios y la mejora (si la hay) de la precisión no lo justifiquen. Estudios recientes han demostrado que los modelos más pequeños pueden superar significativamente a los más grandes para algunas soluciones.
Cualquier ajuste aplicado a un modelo puede afectar a su idoneidad para una tarea. Por ejemplo, IBM ofrece dos versiones del modelo Granite: una ajustada para aplicaciones generales de chat y otra ajustada para seguir instrucciones.
Otras consideraciones a la hora de elegir un modelo son:
Selección de los parámetros del modelo, por ejemplo, la temperatura del modelo, para equilibrar la creación de respuestas textuales y fácticas similares a las humanas. Ajustar la temperatura del modelo a un valor alto generará respuestas coherentes pero potencialmente poco interesantes o demasiado escuetas, mientras que ajustar la temperatura a un valor bajo introducirá más variedad en las respuestas pero añadirá imprevisibilidad en la longitud y el contenido de las mismas.
Selección e implementación de protecciones para los modelos para evitar resultados ineficaces u ofensivos.
También se debe tener en cuenta el idioma de los datos del cliente y las instrucciones para el usuario. La mayoría de los LLM están formados con textos en inglés y, a menudo, pueden traducir entre inglés y otros idiomas con diferentes niveles de experiencia. Las aplicaciones que requieren soporte multilingüe o de idiomas localizados pueden requerir el uso de múltiples modelos entrenados en cada uno de los idiomas compatibles, o la implementación de un paso de traducción para traducir entradas multilingües al inglés u otro idioma ‘base’.