O que é resumo de textos?

A sumarização automática de textos (ou sumarização de documentos) é um método de processamento de linguagem natural (NLP) que condensa informações de um ou mais documentos de entrada em um texto original de saída. O quanto do texto de entrada aparece na saída é debatido. Algumas definições afirmam apenas 10%, outras 50%.¹ Os algoritmos de sumarização de textos costumam usar arquiteturas de deep learning (especificamente, transformadores) para analisar documentos e gerar resumos de textos.

Existem dois tipos principais de resumo: extrativo e abstrativo.

Resumo extrativo extrai frases não modificadas dos documentos de texto originais. Uma diferença fundamental entre os algoritmos extrativos é como eles avaliam a importância das sentenças enquanto reduzem a redundância de tópicos. As diferenças na pontuação das frases determinam quais frases serão extraídas e quais serão mantidas.

A sumarização abstrativa gera resumos originais com sentenças que não estão presentes nos documentos de texto originais. Essa geração requer redes neurais e grandes modelos de linguagem (LLMs) para produzir sequências de texto semanticamente significativas.

Como se pode imaginar, a sumarização abstrativa é mais cara computacionalmente do que a extrativa, exigindo um entendimento mais especializado de inteligência artificial e sistemas generativos. É evidente que a sumarização extrativa de textos também pode fazer uso de redes neurais e transformadores, como GPT, BERT e BART, na criação de resumos. No entanto, as abordagens extrativas não requerem redes neurais.²

Avaliações comparativas entre as técnicas extrativa e abstrativa mostram resultados variados. Por exemplo, algumas pesquisas indicam que a sumarização abstrativa é mais suscetível a alucinações, ou seja, informações enganosas ou factualmente incorretas.³ No entanto, pesquisas adicionais sugerem que as alucinações abstrativas, na verdade, estão alinhadas com o conhecimento geral, sendo derivadas do próprio material de origem da própria sumarização.⁴ Outras análises das técnicas extrativa e abstrativa revelam que cada uma oferece benefícios específicos. Embora os usuários humanos vejam os resumos abstrativos como mais coerentes, eles também consideram os resumos extrativos mais informativos e relevantes.⁵ As pesquisas também sugerem que a controversialidade do tema do texto influencia a forma como os usuários percebem os diferentes tipos de resumos.⁶ Assim, pode não haver uma comparação avaliativa individual direta entre esses tipos de sumarizações.

Assim como ocorre com outras tarefas de NLP, a sumarização de textos requer que os dados textuais passem por um pré-processamento inicial. Isso inclui a tokenização, a remoção de palavras irrelevantes e o stemming ou lematização para tornar o conjunto de dados compreensível para um modelo de aprendizado de máquina. Após o pré-processamento, todos os métodos de sumarização extrativa de textos seguem três etapas gerais e independentes: representação, pontuação de sentenças e seleção de sentenças.

No estágio de representação, um algoritmo segmenta e representa os dados textuais pré-processados para comparação. Muitas dessas representações são baseadas em modelos de bag of words, que representam segmentos de texto, como palavras ou sentenças, como pontos de dados em um espaço vetorial. Grandes conjuntos de dados de múltiplos documentos podem usar a frequência de termo-frequência inversa de documentos (TF-IDF), uma variante do bag of words que pondera cada termo para refletir sua importância dentro de um conjunto de textos. Ferramentas de modelagem de tópicos, como a análise semântica latente (LSA), são outro método de representação que produz grupos de palavras-chave resumidas ponderadas entre documentos. Outros algoritmos, como o LexRank e TextRank, utilizam gráficos. Essas abordagens baseadas em gráficos representam sentenças como nós (ou vértices) conectados por linhas de acordo com as pontuações de similaridade semântica. Como os algoritmos avaliam a similaridade semântica?⁷

A pontuação de sentenças, como o nome sugere, atribui uma pontuação a cada sentença de um texto de acordo com sua importância para o mesmo. Diferentes representações utilizam métodos de pontuação distintos. Por exemplo, abordagens de representação de tópicos pontuam cada sentença de acordo com o grau em que elas expressam individualmente ou combinam os principais tópicos. Mais especificamente, isso pode envolver a atribuição de pesos às sentenças de acordo com a cofrequência de palavras-chave dos tópicos. Abordagens baseadas em gráficos calculam a centralidade das sentenças. Esses algoritmos determinam a centralidade usando o TF-IDF para calcular o quanto um nó da sentença está distante do centroide de um documento no espaço vetorial.⁸

A etapa geral final nos algoritmos extrativos é a seleção de sentenças. Após atribuir pesos às sentenças de acordo com sua importância, os algoritmos selecionam as n sentenças mais importantes para um documento ou coleção de documentos. Essas sentenças compõem o resumo gerado. Mas o que acontece se essas sentenças tiverem sobreposição semântica e temática? A etapa de seleção de sentenças busca reduzir a redundância nos resumos finais. Os métodos de relevância marginal máxima utilizam uma abordagem iterativa. Especificamente, eles recalculam as pontuações de importância das sentenças de acordo com a similaridade dessas sentenças com as já selecionadas. Métodos de seleção global escolhem um subconjunto das sentenças mais importantes para maximizar a importância geral e reduzir a redundância.⁹

Como essa visão geral ilustra, a sumarização extrativa de textos é, em última análise, uma questão de classificação de textos (e, na maioria das vezes, de sentenças). As técnicas de sumarização extrativa de textos classificam documentos e seus trechos de textos (como, por exemplo, sentenças) para produzir um resumo que melhor corresponda aos tópicos centrais identificados nos textos fornecidos. Dessa forma, a sumarização extrativa pode ser entendida como uma forma de recuperação de informações.¹⁰

Como já mencionado, as técnicas de sumarização abstrativa de textos utilizam redes neurais para gerar um texto original que resume um ou mais documentos. Embora existam diversos tipos de métodos de sumarização abstrativa de textos, a literatura não adota um sistema de classificação abrangente para descrevê-los.¹¹ No entanto, é possível apresentar uma visão dos objetivos gerais desses métodos.

Assim como em muitas aplicações de inteligência artificial, o objetivo final da sumarização abstrativa de textos é imitar os resumos gerados por seres humanos. Uma característica principal dos resumos gerados por humanos é a compactação de sentenças, em que textos e sentenças mais longos são resumidos por meio de encurtamento. Existem duas abordagens gerais para a compactação de sentenças: métodos baseados em regras e métodos estatísticos.

A primeira abordagem aproveita o conhecimento sintático para analisar segmentos gramaticais. Esses métodos utilizam palavras-chave, pistas sintáticas ou até rótulos de classes gramaticais para extrair trechos de texto, que são então combinados, frequentemente seguindo um modelo predefinido. Esse modelo pode ser extraído de análises automatizadas de textos adicionais ou de regras definidas pelo usuário.²

Em métodos estatísticos, um modelo (seja adquirido por pré-treinamento ou ajuste fino) aprende a identificar quais segmentos da sentença devem ser eliminados. Por exemplo, um analisador em árvore pode identificar sentenças similares em um texto de entrada e preencher sentenças comparáveis em uma estrutura de árvore. Uma árvore de dependência é uma dessas estruturas que modela sentenças de acordo com a relação percebida entre as palavras, alinhando-se com os arranjos sujeito-predicado. Uma sentença nessa estrutura pode ter o verbo como seu nó central, com sujeitos, objetos (ou seja, substantivos) e conjunções se ramificando. Outros verbos se ramificarão a partir dos substantivos aos quais estão ligados. Após o texto ser representado em uma estrutura de árvore, o algoritmo seleciona palavras ou frases comuns para serem utilizadas por uma rede generativa na criação de um novo resumo.¹²

Como este breve resumo sobre compactação de sentenças sugere, a fusão de informações é outro aspecto importante da sumarização abstrativa. As pessoas resumem documentos ao concatenar informações de vários trechos em uma única sentença ou frase.² Uma abordagem proposta para imitar isso é a fusão de sentenças em um conjunto de múltiplos documentos. Essa abordagem identifica frases comuns em um conjunto de documentos e as funde por meio de uma técnica chamada computação na rede para produzir um resumo em inglês gramaticalmente coerente.¹³ Outro método proposto utiliza modelos de tópicos neurais para gerar termos-chave que, por sua vez, orientam a geração do resumo. Nessa abordagem, palavras-chave que ocorrem com frequência e que abordam os principais pontos em vários documentos são combinadas em uma única sentença ou grupo delas.¹⁴

Uma preocupação final na sumarização abstrativa de textos é a ordem das informações. As informações resumidas não seguem necessariamente a mesma ordem do documento de origem inicial. Quando as pessoas escrevem resumos, por exemplo, elas podem organizar as informações de forma temática. Um método usado para organização temática são os clusters. Especificamente, as sentenças extraídas são organizadas em grupos de acordo com o conteúdo temático (conforme determinado pelas palavras-chave que ocorrem em conjunto). Nesse sentido, os modelos de tópicos neurais são outra abordagem potencial que ordena as informações de forma temática.²

Os desenvolvedores usam várias métricas de avaliação para resumo de texto. As diferenças nas métricas geralmente dependem do tipo de resumo, assim como da funcionalidade do resumo que se deseja medir.

O BLEU (bilíngue evaluation understudy) é uma métrica de avaliação comumente usada em tradução automática. Ele mede a similaridade entre a verdade fundamentale a saída do modelo para uma sequência de n palavras, conhecidas como n-gramas. Na sumarização de textos, o BLEU mede a frequência e a extensão da sobreposição dos n-gramas em um resumo automático com os de um resumo gerado por um ser humano, levando em conta repetições errôneas de palavras no primeiro. Em seguida, utiliza essas pontuações de precisão para n-gramas individuais para calcular uma precisão geral do texto, chamada de média geométrica da precisão. Esse valor final varia entre 0 e 1, sendo que 1 indica um alinhamento perfeito entre os resumos de texto gerados por máquinas e por seres humanos.¹⁵

O ROUGE (recall-oriented understudy for gisting evaluation) é uma métrica desenvolvida a partir do BLEU, especificamente para a avaliação de tarefas de sumarização. Assim como o BLEU, ele compara resumos gerados por máquinas com resumos feitos por seres humanos utilizando n-gramas. Mas, enquanto o BLEU avalia a precisão das máquinas, o ROUGE mede o recall das máquinas. Em outras palavras, o ROUGE calcula a precisão de um resumo automático com base na quantidade de n-gramas da sumarização gerada por seres humanos encontrados no resumo automático. A pontuação do ROUGE, assim como a do BLEU, varia entre 0 e 1, sendo que 1 indica um alinhamento perfeito entre os resumos de texto gerados por máquinas e por seres humanos.¹⁶

Observe que essas métricas avaliam o texto final resumido gerado. Essas métricas são diferentes dos inúmeros métodos de pontuação de sentenças empregados em algoritmos de resumo de texto, que escolhem sentenças e palavras-chave adequadas para gerar o output final resumido.

Várias bibliotecas permitem que os usuários implementem facilmente ferramentas de resumo de textos em Python. Por exemplo, a HuggingFace Transformers Library, uma arquitetura de transformação do tipo encoder-decoder, destinada à geração de resumos de texto. A OneAI’s Language Skills API também oferece ferramentas para gerar resumos de texto com facilidade.

A aplicação mais evidente do resumo de texto é a aceleração da pesquisa. Isso tem aplicações potenciais em diversas áreas, como jurídica, acadêmica e de marketing. No entanto, os pesquisadores também mostram como os transformadores de resumo de texto podem contribuir para o avanço de outras tarefas.

Notícias Os artigos de notícias são um conjunto de dados comum para testar e comparar técnicas de sumarização de textos. No entanto, a sumarização nem sempre é o objetivo final. Um pequeno número de estudos investiga o papel dos resumos de textos derivados de transformadores como uma forma de extração de funcionalidades para impulsionar modelos de detecção de fake news.¹⁷ Essa pesquisa mostra um potencial promissor e ilustra como os resumos de textos podem ser utilizados para aplicações mais amplas do que apenas economizar tempo na leitura de vários textos.

Tradução A sumarização cruzada entre idiomas é um ramo da sumarização de textos que se sobrepõe à tradução automática. É verdade que essa área de pesquisa não é tão extensa quanto as de sumarização ou tradução propriamente ditas. No entanto, o objetivo de resumir um texto em língua de origem ou uma coleção de textos em uma língua-alvo diferente apresenta uma série de novos desafios.¹⁸ Um dos que foi publicado explora a sumarização entre idiomas com textos históricos. Nesta tarefa, variantes históricas do idioma (por exemplo, o chinês antigo em comparação com o chinês moderno, ou o grego ático em relação ao grego moderno) são tratadas como línguas distintas. O experimento específico usa incorporações de palavras juntamente com métodos de sumarização e aprendizado por transferência extrativos e abstrativos para produzir sumarizações modernas de documentos em idiomas antigos.¹⁹