Qu’est-ce que la récapitulation de texte ?

La récapitulation automatique de texte (ou récapitulation de documents) est une méthode de traitement automatique du langage naturel (NLP) qui condense les informations d’un ou plusieurs documents texte d’entrée dans un texte de sortie original. La quantité de texte d’entrée présente dans la sortie fait l’objet de débats : certaines définitions indiquent qu’elle ne doit pas être supérieure à 10 %, tandis que d’autres vont jusqu’à 50 %.¹ Les algorithmes de récapitulation de texte utilisent souvent des architectures d’apprentissage profond, en particulier des transformeurs, pour analyser les documents et générer des résumés de texte.

Il existe deux principaux types de récapitulation : la récapitulation extractive et la récapitulation abstractive.

La récapitulation extractive extrait des phrases non modifiées des documents texte originaux. L’une des principales différences entre les algorithmes extractifs est la façon dont ils notent l’importance des phrases tout en réduisant la redondance thématique. Les différences dans la notation des phrases déterminent les phrases à extraire et celles à conserver.

La récapitulation abstractive génère des résumés originaux avec des phrases qui ne se trouvent pas dans les documents texte d’origine. Une telle génération nécessite des réseaux neuronaux et de grands modèles de langage (LLM) pour produire des séquences de texte valides d’un point de vue sémantique.

Comme on peut s’en douter, la récapitulation de texte abstractive est plus coûteuse en matière de calcul que la récapitulation de texte extractive, ce qui nécessite une compréhension plus spécialisée de l’intelligence artificielle et des systèmes génératifs. Bien entendu, la récapitulation de texte extractive peut également utiliser des transformeurs de réseaux neuronaux, tels que GPT, BERT et BART, pour créer des résumés. Néanmoins, les approches extractives ne nécessitent pas de réseaux neuronaux.²

Les évaluations comparatives des techniques d’extraction et d’abstraction donnent des résultats mitigés. Par exemple, certaines recherches suggèrent que la récapitulation abstractive est plus sujette aux hallucinations, c’est-à-dire aux informations trompeuses ou factuellement fausses.³ D’autres recherches, cependant, suggèrent que les hallucinations abstractives s’alignent en fait sur la connaissance du monde, étant dérivées du matériel source de récapitulation lui-même.⁴ D’autres comparaisons des techniques extractive et abstractive montrent que chacune a ses avantages propres. Alors que les utilisateurs humains considèrent les récapitulations abstractives comme plus cohérentes, ils considèrent également les récapitulations extractives comme plus informatives et plus pertinentes.⁵ Les recherches suggèrent également que la controverse concernant le sujet du texte affecte la façon dont les utilisateurs perçoivent les deux types de récapitulations.⁶ En conséquence, il ne peut probablement pas y avoir de comparaison évaluative directe entre ces types de récapitulation.

Comme pour d’autres tâches de TAL (« traitement automatique des langues »), la récapitulation de texte nécessite que les données textuelles subissent d’abord un prétraitement. Cela inclut la tokenisation, la suppression des mots vides et la racinisation ou la lemmatisation, le but étant de rendre le jeu de données lisible par un modèle de machine learning . Après le prétraitement, toutes les méthodes de récapitulation de texte extractive suivent trois étapes générales et indépendantes : la représentation, la notation des phrases et la sélection des phrases.

Lors de la phase de représentation, un algorithme segmente et représente les données textuelles prétraitées pour la comparaison. Bon nombre de ces représentations sont élaborées à partir de modèles de sac de mots (ou « bag of words »), qui représentent des segments de texte (tels que des mots ou des phrases) sous forme de points de données dans un espace vectoriel. Les grands jeux de données multidocuments peuvent utiliser la fréquence de terme/fréquence inverse de document (« term frequency-inverse document frequency » ou TF-IDF), une variante du sac de mots qui pondère chaque terme pour refléter son importance dans un ensemble de textes. Les outils de modélisation thématique tels que l’analyse sémantique latente (« latent semantic analysis » ou LSA) sont une autre méthode de représentation qui produit des groupes de mots clés récapitulatifs pondérés dans les documents. D’autres algorithmes, tels que LexRank et TextRank, utilisent des graphes. Ces approches basées sur des graphes représentent les phrases comme des nœuds (ou des sommets) qui sont reliés par des lignes selon des scores de similarité sémantique. Comment les algorithmes évaluent-ils la similarité sémantique ?⁷

La notation des phrases, comme son nom l’indique, note chaque phrase d’un texte en fonction de son importance pour ce texte. Différentes représentations mettent en œuvre diverses méthodes de notation. Par exemple, les approches de représentation thématique notent chaque phrase en fonction de la mesure dans laquelle elles expriment ou combinent individuellement des thèmes clés. Plus précisément, cela peut impliquer de pondérer les phrases en fonction de la cofréquence des mots-clés du thème. Les approches basées sur les graphes calculent la centralité des phrases. Ces algorithmes déterminent la centralité en utilisant la TF-IDF pour calculer la distance entre un nœud de phrase donné et le centroïde d’un document dans l’espace vectoriel.⁸

La dernière étape générale des algorithmes extractifs est la sélection des phrases. Après avoir pondéré les phrases par importance, les algorithmes sélectionnent les n phrases les plus importantes pour un document ou un ensemble de ceux-ci. Ces phrases constituent le résumé généré. Mais que se passe-t-il s’il y a un chevauchement sémantique et thématique dans ces phrases ? L’étape de sélection des phrases vise à réduire la redondance dans les résumés finaux. Les méthodes de pertinence marginale maximale utilisent une approche itérative. Plus précisément, ils recalculent les scores d’importance des phrases en fonction de la similarité de cette phrase avec des phrases déjà sélectionnées. Les méthodes de sélection globale choisissent un sous-ensemble des phrases les plus importantes pour maximiser l’importance globale et réduire la redondance.⁹

Comme l’illustre cette présentation, la récapitulation de texte extractive est, en fin de compte, un problème de classement du texte (et, le plus souvent, des phrases). Les techniques de récapitulation de texte extractives classent les documents et leurs chaînes de test (les phrases, par exemple) dans l’ordre ou produisent un résumé qui correspond le mieux aux sujets principaux identifiés dans les textes concernés. En ce sens, la récapitulation extractive peut être comprise comme une forme de recherche d’information.¹⁰

Comme cela a été mentionné, les techniques de récapitulation de texte abstractives utilisent des réseaux neuronaux pour générer un texte original qui résume un ou plusieurs documents. Bien qu’il existe de nombreux types de méthodes de récapitulation de texte abstractive, l’ensemble des documents qui traitent du sujet ne présentent aucun système de classification global pour décrire ces méthodes.¹¹ Néanmoins, il est possible de passer en revue les objectifs généraux de ces différentes méthodes.

Comme c’est le cas pour de nombreuses applications d’intelligence artificielle, la récapitulation de texte abstractive vise en fin de compte à imiter les résumés générés par l’homme. L’une des caractéristiques clés de ces derniers est la compression des phrases : les humains résument les textes et les phrases en les raccourcissant. Il existe deux approches générales de la compression des phrases : les méthodes basées sur des règles et les méthodes statistiques.

Les premières s’appuient sur des connaissances syntaxiques pour analyser les segments grammaticaux. Elles utilisent des mots-clés, des indices syntaxiques ou même des étiquettes de parties du discours pour extraire des extraits de texte qui sont ensuite fusionnés, souvent selon un modèle prédéfini. Ce modèle peut être généré à partir d’une analyse de texte automatisée supplémentaire ou de règles définies par l’utilisateur.²

Dans les approches statistiques, un modèle (qu’il soit obtenu par pré-entraînement ou par réglage fin) apprend quels segments de phrases doivent être supprimés. Par exemple, un analyseur syntaxique peut identifier des phrases similaires dans un texte d’entrée et les répartir dans une structure arborescente. Un arbre de dépendance est l’une de ces structures qui modélise les phrases en fonction de la relation perçue entre les mots, en s’alignant sur les arrangements sujet-prédicat. Une phrase de cette structure peut avoir le verbe comme nœud central, avec des sujets et des objets (c’est-à-dire des noms) et des conjonctions qui se ramifient. Des verbes supplémentaires se ramifient ensuite à partir des noms auxquels ils sont rattachés. Une fois le texte représenté dans une structure arborescente, l’algorithme sélectionne des mots ou des phrases communs qui seront utilisés par un réseau génératif pour créer un nouveau résumé.¹²

Comme l’indique ce bref aperçu de la compression de phrases, la fusion d’informations est un autre aspect clé de la récapitulation abstractive. Les gens résument les documents en concentrant les informations de plusieurs passages en une seule phrase ou un seul syntagme.² L’une des approches proposées pour imiter ce phénomène est la fusion de phrases à partir d’un ensemble de documents. Cette approche identifie les phrases qui reviennent le plus souvent dans un ensemble de documents et les fusionne au moyen d’une technique appelée calcul en treillis pour produire un résumé en anglais grammaticalement cohérent.¹³ Une autre méthode proposée utilise des modèles thématiques neuronaux pour générer des termes clés qui, à leur tour, guident la génération du résumé. Dans cette approche, les mots clés courants qui couvrent des points principaux sur plusieurs documents sont combinés en une seule phrase ou en un seul groupe.¹⁴

La dernière préoccupation en matière de récapitulation de texte abstractive est l’ordre des informations. Les informations résumées ne suivent pas nécessairement le même ordre que celui du document source initial. Lorsque les gens rédigent des résumés, par exemple, ils organisent souvent les informations par thème. L’une des méthodes utilisées pour l’organisation thématique est celle des clusters. Plus précisément, les phrases extraites sont organisées en clusters en fonction de leur contenu thématique (déterminé par les mots-clés cooccurrents). Dans cette lignée, les modèles thématiques neuronaux constituent une autre approche potentielle pour l’information ordonnée de manière thématique.²

Les développeurs utilisent un certain nombre de mesures d’évaluation pour la récapitulation des textes. Les différences dans le choix des mesures dépendent généralement du type de résumé ainsi que de la caractéristique du résumé que l’on souhaite mesurer.

BLEU (« bilingual evaluation understudy ») est un indicateur d’évaluation couramment utilisé dans la traduction automatique. Il mesure la similarité entre la réalité de terrain et la sortie du modèle pour une séquence de n mots, appelés n-grammes. Dans la récapitulation de texte, l’indicateur BLEU mesure la fréquence et dans quelle mesure les n-grammes d’un résumé automatique se chevauchent avec ceux d’un résumé généré par l’humain, en tenant compte des répétitions de mots erronées dans le premier. Il utilise ensuite ces scores de précision pour les n-grammes individuels afin de calculer une précision de texte globale, appelée précision basée sur la moyenne géométrique. Cette valeur finale est comprise entre 0 et 1, la valeur de 1 indiquant un alignement parfait entre les résumés de texte générés par la machine et l’humain.¹⁵

ROUGE (« recall-oriented understudy for gisting evaluation ») est dérivé de BLEU et est spécialement conçu pour l’évaluation des tâches de récapitulation. Comme BLEU, il compare les résumés des machines aux résumés générés par les humains en utilisant des n-grammes. La différence est que BLEU mesure la précision des machines, tandis que ROUGE mesure le rappel des machines. En d’autres termes, ROUGE calcule la précision d’un résumé automatique en fonction du nombre de n-grammes provenant de la récapitulation générée par l’humain trouvé dans le résumé automatique. Le score ROUGE, comme le score BLEU, est une valeur comprise entre 0 et 1, la valeur de 1 indiquant un alignement parfait entre les résumés de texte générés par la machine et par l’humain.¹⁶

Notez que ces mesures évaluent la sortie du texte résumé final. Elles se distinguent de la myriade de méthodes de notation des phrases utilisées dans les algorithmes de récapitulation de texte, qui sélectionnent des phrases et des mots clés appropriés à partir desquels le résultat résumé final sera produit.

Un certain nombre de bibliothèques permettent aux utilisateurs d’implanter facilement des outils de récapitulation de texte en Python. Par exemple, la HuggingFace Transformers Library est dotée de BART, une architecture transformatrice encodeur-décodeur, qui permet de générer des résumés de texte. L’API Language Skills de OneAI fournit également des outils pour générer facilement des récapitulations de texte.

L’application la plus évidente de la récapitulation de texte est la recherche accélérée. Cela a des utilisations potentielles pour une variété de domaines, tels que le droit, l’enseignement universitaire et le marketing. Les chercheurs montrent également comment les transformers de récapitulation de texte peuvent faire avancer des tâches supplémentaires.

Actualités Les articles d’actualité constituent un ensemble de données courant pour tester et comparer les techniques de récapitulation de texte. La récapitulation n’est cependant pas toujours l’objectif final. Une poignée d’études examinent le rôle des résumés de texte issus des transformeurs comme mode d’extraction de caractéristiques pour alimenter les modèles de détection de fausses informations.¹⁷ Cette recherche montre un potentiel prometteur et illustre comment les résumés de texte peuvent être adoptés pour des utilisations plus larges que le simple fait de gagner du temps dans la lecture de nombreux textes.

Traduction La récapitulation multilingue est une branche de la récapitulation de texte qui coïncide partiellement avec la traduction automatique. Il ne s’agit pas d’un domaine de recherche aussi vaste que la récapitulation ou la traduction elles-mêmes. Néanmoins, l’objectif de la récapitulation d’un texte ou d’une collection de textes écrit(s) dans une langue source vers une langue cible différente pose de nouveaux défis.¹⁸ Une publication explore la récapitulation multilingue avec des textes historiques. Dans cette tâche, les variantes historiques de langue (par exemple, chinois ancien contre chinois moderne, ou grec Attique vers grec moderne) sont traitées comme des langues distinctes. Cette expérience spécifique utilise des plongements lexicaux, les méthodes de récapitulation extractive et abstrative et d’apprentissage par transfert pour produire des résumés modernes de documents écrits en langage ancien.¹⁹