Um sistema de suporte de vários níveis em uma organização pode utilizar um assistente de conversação (ou chatbot) com grandes modelos de linguagem, juntamente com agentes humanos, oferecendo assistência eficiente e abrangente aos usuários finais.
- Geração aumentada de recuperação
- Conversas com o agent assist
- Pesquisa generativa
- IA agêntica
- Sumarização de documentos
- Modernização e geração de código
- Geração de código para Ansible
- Geração de código para Z
- Desenvolvimento de software aprimorado por IA com agentes
A arquitetura para conversação com o Agent Assist é mostrada no diagrama acima. As principais etapas do fluxo da arquitetura são:
Documentos corporativos, como manuais de produtos, documentos de perguntas frequentes, materiais de ofertas, prospectos, tickets de suporte resolvidos e outros, são ingeridos em uma instância do IBM watsonx Discovery e preparados para pesquisa semântica.
Os usuários enviam solicitações, problemas ou perguntas por meio de uma interface no site da organização, em um aplicativo dedicado ou em outras plataformas. Essa interação é facilitada pelo IBM Watsonx Assistant, que atua como a interface principal para interações baseadas em bate-papo.
Para solicitações que exigem a recuperação de dados de documentos ou da base de conhecimento da organização, o IBM watsonx Discovery é chamado para pesquisar e recuperar as passagens de informações mais relevantes para a solicitação do usuário.
Em seguida, o watsonx Assistant envia a solicitação do usuário e as informações relevantes recuperadas do watsonx Discovery para um grande modelo de linguagem (LLM) hospedado no watsonx.ai.
O LLM sintetiza a solicitação do usuário e as informações fornecidas junto com o conhecimento integrado do LLM, gerando uma resposta semelhante à humana que é enviada de volta ao watsonx.ai e que, após uma possível formatação e outros processamentos, é apresentada ao usuário.
Se o usuário não estiver satisfeito com a resposta gerada (por exemplo, sua solicitação tem nuances, é complexa ou exige conhecimento específico), pode optar por fazer com que o watsonx Assistant encaminhe a chamada para um agente humano. Da mesma forma, as interações podem ser escaladas automaticamente se for detectada que a resposta do LLM é de baixa confiança ou potencialmente ofensiva. Os usuários podem optar por interagir com um representante humano a qualquer momento. O watsonx Assistant faz a transição sem dificuldades da interação para um agente humano por meio do sistema de gerenciamento da central de contato da empresa.
Um agente humano, com acesso total ao histórico de conversas do watsonx Assistant, auxilia o usuário a resolver sua solicitação, problema ou dúvida.
Após a resolução, o sistema, por meio do watsonx Assistant, pode solicitar feedback do usuário. Esse feedback ajuda a refinar interações futuras, ao analisar consultas frequentemente perdidas ou escaladas e permitir que a organização ajuste o LLM hospedado no watsonx.ai e/ou refine os parâmetros de pesquisa do watsonx Discovery para melhorar o desempenho.
O mapeamento da família de produtos IBM watsonx para a arquitetura conceitual é mostrado no diagrama abaixo. O watsonx Assistant fornece os recursos de interação do componente de assistente virtual, enquanto o watsonx Discovery, um complemento do watsonx Assistant, fornece recursos de ingestão de documentos e pesquisa semântica. O ambiente de desenvolvimento e hospedagem do modelo watsonx.ai é usado para selecionar, ajustar, testar e implementar o grande modelo de linguagem.
Alguns clientes não têm o watsonx.ai disponível em sua região local ou podem ter problemas de segurança ou requisitos regulatórios que os impedem de usar o watsonx.ai Solução de SaaS. Para esses clientes, oferecemos o watsonx.ai como um conjunto de serviços conteinerizados que podem ser implementados no Red Hat Openshift em execução nos data centers dos clientes, em uma nuvem privada virtual (VPC), na infraestrutura de um provedor de serviço de nuvem ou em outro local.
Decisões e considerações sobre arquitetura
Escolha do modelo de geração
Muitos fatores influem na escolha de um modelo adequado para seu projeto.
A licença do modelo pode restringir a forma como ele pode ser usado. Por exemplo, a licença de um modelo pode impedir que ele seja usado como parte de uma aplicação comercial.
O conjunto de dados usado para treinar o treinamento do modelo tem um impacto direto em seu funcionamento para uma aplicação específica e afeta de forma significativa o risco de que o modelo possa gerar respostas sem sentido, ofensivas ou simplesmente indesejadas. Da mesma forma, modelos treinados em dados protegidos por direitos autorais ou privados podem expor seus usuários a responsabilidade legal. A IBM fornece plena transparência de dados de treinamento e indenização por reivindicações legais decorrentes de seus modelos.
O tamanho do modelo, com quantos parâmetros ele é treinado e o tamanho de sua janela de contexto (o tamanho de uma passagem de texto que o modelo pode aceitar) afetam o desempenho do modelo, os requisitos de recursos e a taxa de transferência. Embora seja tentador seguir a filosofia de "maior é melhor" e escolher um modelo de 20 bilhões de parâmetros, os requisitos de recursos e a melhoria (se houver) na precisão podem não justificar isso. Estudos recentes mostraram que modelos menores podem superar significativamente o desempenho dos maiores para algumas soluções.
Qualquer ajuste fino aplicado a um modelo pode afetar sua adequação a uma tarefa. Por exemplo, a IBM oferece duas versões do modelo Granite: uma ajustada para aplicações gerais de chat e outra ajustada para seguir instruções.
Veja outras considerações ao escolher um modelo incluem:
Seleção de parâmetros do modelo, como por exemplo, a temperatura do modelo, para equilibrar a criação de texto semelhante ao humano e respostas factuais. Definir a temperatura do modelo em um valor alto gerará respostas consistentes, mas pode resultar em respostas pouco interessantes ou excessivamente breves. Por outro lado, definir a temperatura em um valor baixo introduzirá mais variedade nas respostas, mas aumentará a imprevisibilidade no tamanho e no conteúdo das respostas.
Seleção e implementação de proteções do modelo para proteção contra resultados ineficazes ou ofensivos.
O idioma dos dados do cliente e dos prompts do usuário também deve ser levado em consideração. A maioria dos LLMs é treinada com textos em inglês e muitas vezes podem traduzir entre inglês e outros idiomas com níveis variados de conhecimento. As aplicações que exigem compatibilidade com idiomas localizados ou multilíngues podem exigir o uso de diferentes modelos treinados em cada um dos idiomas disponíveis ou a implementação de uma etapa de tradução para traduzir entradas multilíngues para o inglês ou outro idioma de “base”.