Pesquisa generativa

Muitos fatores influem na escolha de um modelo adequado para seu projeto.

A licença do modelo pode restringir a forma como ele pode ser usado. Por exemplo, a licença de um modelo pode impedir que ele seja usado como parte de uma aplicação comercial.

O conjunto de dados usado para treinar o treinamento do modelo tem um impacto direto em quão bem o modelo funciona para uma aplicação específica e afeta de forma significativa o risco de que o modelo possa gerar respostas sem sentido, ofensivas ou simplesmente indesejadas. Da mesma forma, modelos treinados em dados protegidos por direitos autorais ou privados podem expor seus usuários a responsabilidade legal. A IBM fornece plena transparência de dados de treinamento e indenização por reivindicações legais decorrentes de seus modelos.

O tamanho do modelo (ou seja, com quantos parâmetros ele é treinado) e o tamanho de sua janela de contexto (ou seja, qual é a duração de uma passagem de texto que o modelo pode aceitar) afetam o desempenho do modelo, os requisitos de recursos e, por extensão, o custo e o rendimento. Embora seja tentador seguir a filosofia de "maior é melhor" e escolher um modelo de 20 bilhões de parâmetros, os requisitos de recursos e a melhoria (se houver) na precisão podem não justificar isso. Estudos recentes mostraram que modelos menores podem superar significativamente o desempenho dos maiores para algumas soluções.

Qualquer ajuste fino aplicado a um modelo pode afetar sua adequação a uma tarefa. Por exemplo, a IBM oferece duas versões do modelo Granite: uma ajustada para aplicações gerais de chat e outra ajustada para seguir instruções.

Veja outras considerações ao escolher um modelo incluem:

• Seleção de parâmetros do modelo, como por exemplo, a temperatura do modelo, para equilibrar a criação de texto semelhante ao humano e respostas factuais. Definir a temperatura do modelo em um valor alto gerará respostas consistentes, mas pode resultar em respostas pouco interessantes ou excessivamente breves. Por outro lado, definir a temperatura em um valor baixo introduzirá mais variedade nas respostas, mas aumentará a imprevisibilidade no tamanho e no conteúdo das respostas.

• Seleção e implementação de proteções do modelo para proteção contra resultados ineficazes ou ofensivos.

• O idioma dos dados do cliente e dos prompts do usuário também deve ser levado em consideração. A maioria dos LLMs é treinada com textos em inglês e muitas vezes podem traduzir entre inglês e outros idiomas com níveis variados de conhecimento. As aplicações que exigem compatibilidade com idiomas localizados ou multilíngues podem exigir o uso de diferentes modelos treinados em cada um dos idiomas disponíveis ou a implementação de uma etapa de tradução para traduzir entradas multilíngues para o inglês ou outro idioma de “base”.

Alguns clientes podem querer ter um mecanismo de feedback para refinar continuamente as respostas do sistema. Com o tempo, esse feedback pode melhorar tanto a configuração do Watson Discovery (por exemplo, refinando os parâmetros de pesquisa) quanto para realizar o ajuste fino do LLM.

Clientes de setores regulamentados podem querer incluir uma camada adicional de monitoramento para cumprir as regulamentações e oferecer transparência aos usuários sobre como suas dúvidas estão sendo tratadas e qual o papel da IA na geração de respostas.

Como em qualquer sistema integrado, monitore continuamente o desempenho, a satisfação do usuário e quaisquer possíveis problemas. Esteja preparado para escalar a infraestrutura à medida que a demanda do usuário crescer.