Sumarização é a capacidade de condensar documentos longos em um resumo conciso que captura os pontos-chave do trabalho maior. Do ponto de vista da tecnologia, a sumarização é desafiadora porque exige uma ampla gama de recursos: compreensão de longas passagens de texto, identificação de pontos e tópicos-chave e geração de novos textos que capturem a intenção do trabalho maior. Felizmente, os grandes modelos de linguagem (LLMs) são adequados para essas tarefas. Usando LLMs, os arquitetos podem criar soluções que ajudam os usuários a minimizar a carga de ter que ler documentos longos em detalhes, resultando em ganhos de produtividade e experiências mais positivas para o usuário.
Arquitetura
- Geração aumentada de recuperação
- Conversas com o agent assist
- Pesquisa generativa
- IA agêntica
- Sumarização de documentos
- Modernização e geração de código
- Geração de código para Ansible
- Geração de código para Z
- Desenvolvimento de software aprimorado por IA com agentes
O diagrama acima mostra as duas formas do padrão de sumarização. A forma mais simples do padrão é a variante Rechear. Nesse padrão:
- O conteúdo de um documento é lido e "recheado", ou seja, copiado em sua integridade em um prompt do LLM.
- Um modelo de prompt é comumente usado para "envolver" o conteúdo com instruções e palavras-chave para direcionar o modelo de destino para gerar um resumo.
- O prompt resultante é enviado a um LLM treinado, que gera um resumo em resposta.
A abordagem Rechear é ótima para documentos pequenos, mas não funciona para documentos muito grandes para a janela de contexto do LLM ou para coleções de documentos. Felizmente, temos a variante Map-Reduce para essas situações. Na fase Mapear da variante, documentos individuais e/ou subseções de documentos são recheados no LLM usando a abordagem Rechear. Os resumos retornados para os documentos e/ou fragmentos são agregados pela aplicação e, em seguida, enviados a um LLM (4) para gerar um resumo geral do trabalho e/ou conjunto maior de documentos. É possível usar o mesmo LLM que pode ser usado para as fases de Mapear e Reduzir, mas mais frequentemente o modelo Reduzir precisará ser ajustado para gerar resumos agregados sem perder detalhes importantes.
A sumarização conceitual é semelhante a uma tarefa de tradução automática: queremos que o LLM "traduza" um documento longo em um resumo mais curto. Assim, modelos de codificadores-decodificadores como BART e T5 são adequados para soluções de sumarização. A maioria dos LLMs adequados para sumarização é treinada usando um ou mais conjuntos de treinamento disponíveis publicamente extraídos de fontes como notícias, Wikipedia, legislação e publicações científicas, mas geralmente exigem um ajuste fino antes que possam gerar resumos aceitáveis para processos de negócios direcionados e de entrada.
Um processo de negócios complexo normalmente exigirá vários modelos ajustados para gerar resumos para diferentes grupos de usuários. Por exemplo, um sinistro de seguro. O processo poderia exigir LLMs com ajuste fino para sumarização e encaminhamento de sinistros, detecção de fraudes e investigação e para sumarização de relatórios de prestadores de serviços tais como consultores médicos ou de engenharia.
A sumarização é um padrão de solução candidata para qualquer cenário de negócios em que os usuários devem rotineiramente ler e entender grandes documentos, mas não exigem necessariamente um conhecimento profundo do conteúdo do documento até uma fase posterior do processo de negócios.
Os usos candidatos incluem:
Adjudicação de sinistros de seguro. Os sinistros de seguro, especialmente os sinistros comerciais e de integridade complexos, são frequentemente lidos várias vezes no processo de submissão e adjudicação. Muitas vezes, os sinistros são lidos inicialmente para determinar o departamento e/ou vistoriador apropriado para lidar com a reclamação. É necessário ler mais para entender e agir de acordo com os relatórios de avaliação independentes, para determinar a cobertura e para avaliar a possibilidade de fraude. Uma solução de sumarização que extrai os pontos relevantes de um texto tem o potencial de melhorar substancialmente esses processos.
Contratos. Os contratos comerciais costumam ser complexos e difíceis de entender, mesmo para uma transação relativamente simples. Uma solução de sumarização que possa resumir os principais termos e condições de um contrato em linguagem simples pode ser uma grande vantagem para empresários, advogados e assistentes jurídicos de diversos setores.
Resumos médicos. A compilação de resumos médicos de registros de pacientes é uma tarefa árdua que requer experiência substancial para ser executada corretamente. Uma solução de sumarização que possa extrair os principais elementos de um grande registro de paciente e auxiliar na codificação de registros (usando o ICD-10 ou outro esquema de codificação de diagnóstico) melhoraria tanto a velocidade quanto a consistência do processo de abstração.
Suporte a produtos e serviços. A equipe de suporte ao cliente é frequentemente chamada para assumir ou entrar nos esforços de resolução de problema,s que podem abranger muitas interações entre os clientes e a equipe de suporte. Uma solução de sumarização, que resume com precisão um caso de suporte, pode reduzir o tempo necessário para que a equipe de suporte se familiarize com o caso e, de preferência, reduza o tempo necessário para resolvê-los.
As soluções de sumarização exigem que os arquitetos tomem uma série de decisões significativas para atender aos requisitos funcionais e não funcionais da solução.
Escolha do modelo de geração
Conforme documentado acima, muitos LLMs são capazes de realizar a sumarização de texto "prontos para uso". Se os recursos inerentes ao modelo atenderem aos requisitos da solução, os arquitetos devem considerar fatores como o tamanho do modelo (que define os requisitos de infraestrutura), a qualidade das respostas e a velocidade de inferência. Se um ajuste fino for necessário, os arquitetos também devem considerar a quantidade de dados de ajuste e a complexidade do processo de ajuste necessário para ajustar um modelo de base selecionado de acordo com suas necessidades específicas
Métricas de avaliação
Avaliar o desempenho das soluções de IA generativa pode ser desafiador devido à natureza qualitativa da tarefa, ou seja, como um resumo gerado "melhor" do que outro. Métricas comuns incluem perplexidade, fluência, relevância e coerência, bem como as métricas BLU e ROUGE. Um arquiteto deve selecionar métricas que se alinhem com os requisitos funcionais da solução e os objetivos gerais de negócios.