Qu’est-ce que l’allocation latente Dirichlet (LDA) ? | IBM

L’allocation de Dirichlet latente (LDA), à ne pas confondre avec l’analyse discriminante linéaire dans le machine learning, est une approche bayésienne de la modélisation thématique. En d’autres termes, la LDA est une forme conditionnelle et probabiliste de modélisation thématique.

La modélisation thématique est une technique de traitement automatique du langage naturel (NLP) qui applique un apprentissage non supervisé sur de grands jeux de données textuelles afin de produire un ensemble récapitulatif de termes dérivés de ces documents. Ces termes sont censés représenter l’ensemble des sujets principaux de la collection. Ainsi, les modèles thématiques visent à découvrir les sujets ou les thèmes latents qui caractérisent une collection de documents.¹

Les utilisateurs peuvent facilement générer des modèles thématiques LDA grâce aux outils de traitement du langage naturel (NLTK) de Scikit-learn (ou sklearn) ou à gensim dans Python. Les packages topicmodels et lda dans R contiennent également des fonctions permettant de générer des modèles thématiques LDA.

La LDA est un modèle probabiliste. Cela signifie que l'algorithme LDA génère des thèmes, classant les mots et les documents dans ces différents thèmes, selon des distributions de probabilité. Mais pourquoi cette méthode est-elle appropriée pour découvrir des structures thématiques cachées dans des données textuelles ? La LDA part essentiellement du principe que les documents ont été générés à partir d'un échantillonnage aléatoire de sujets pré-documentaires et tente d'inverser cet échantillonnage.

Le processus de génération de texte imaginé par LDA commence par des sujets pré-documentaires. Chaque sujet est un vocabulaire de mots fixe, dans lequel chaque mot a une probabilité qu’il appartienne à ce sujet. Notez que les mots se voient attribuer des probabilités plutôt qu’une catégorie discrète pour tenir compte de la pluralité potentielle de sens et d’utilisation. Ensuite, pour créer un document texte, la machine génère aléatoirement une distribution sur des sujets tels que 85 % de politique, 10 % de finance, 5 % d’histoire. Pour chaque mot de ce document, la machine sélectionne au hasard l’un des sujets choisis et émet au hasard un mot de ce sujet. Notez que la LDA ne génère pas elle-même de documents de cette façon. Il s’agit plutôt du processus par lequel la LDA suppose que les documents sont générés. La LDA elle-même tente d’inverser ce processus pour découvrir les sujets généraux et cachés qui envahissent un corpus de documents.

Cette figure illustre le processus de génération de texte supposé sous-jacent à la LDA :

Au bas de cette image se trouve un assortiment aléatoire de sujets composés d’une distribution de mots. Ces sujets existent pour tous les documents de la collection. Pour générer un document donné (dans cet exemple, Othello de Shakespeare), la machine génère une distribution de sujets, qui est le graphique situé à l’extrême droite. Cette distribution correspond aux sujets (et à la proportion de chacun) qui composeront le document. Pour chaque mot du document, la machine sélectionne au hasard l’un des sujets choisis (la colonne de points colorés), parmi lesquels elle choisit à son tour au hasard un mot (les termes surlignés).² Notez que cette visualisation n’est qu’un exemple, et n’est pas le résultat d’une modélisation thématique ou d’une génération de texte réelle. Toutefois, comme nous l’avons mentionné, la méthode LDA part du principe que chaque document est généré par ce processus génératif général, que la méthode LDA tente d’inverser.

Tout comme d’autres approches de modélisation thématique, telles que l’analyse sémantique latente (LSA), la LDA aborde les documents à travers les corpus comme un sac de mots (ou « bag of words »). Cela signifie que la LDA ignore l’ordre des mots et le contexte. Elle se concentre plutôt sur la fréquence à laquelle les mots apparaissent et co-apparaissent dans chaque document individuel.³ La fréquence et la cooccurrence des mots sont modélisées dans la matrice document-terme. Ici, les documents sont des lignes et les mots individuels sont des colonnes, ou vice-versa. La valeur de chaque cellule indique la fréquence à laquelle un mot donné apparaît dans chaque document.⁴

En utilisant la matrice document-terme, l’algorithme LDA génère des distributions de sujets (c’est-à-dire des listes de mots-clés avec leurs probabilités respectives) en fonction de la fréquence des mots et des cooccurrences. En suivant la fréquence de cooccurrence, la LDA suppose que les mots qui se produisent ensemble font probablement partie de sujets similaires. L’algorithme attribue ensuite des distributions aux sujets des documents en fonction des groupes de mots qui apparaissent dans le document donné.⁵

Supposons, par exemple, que nous générions un modèle LDA pour une collection d’articles d’actualité dont le résultat partiel est le suivant

Ici, nous avons deux sujets que l’on peut probablement décrire comme l’immigration (Sujet 1) et l’astronomie (Sujet 2). Les scores associés à chaque mot correspondent à la probabilité que ce mot-clé apparaisse dans son sujet donné. Les probabilités attachées à chaque document sont les probabilités respectives de ce document d’appartenir à un mélange de sujets compte tenu de la distribution et de la co-occurrence des mots de chaque sujet dans ce document. Par exemple, la première ligne du tableau répertorie frontière sous le Sujet 1 avec une probabilité de 40 % et l’espace dans le Sujet 2 avec une probabilité de 60 %. Ces pourcentages indiquent la probabilité que leurs termes respectifs apparaissent pour ce sujet dans l’ensemble du corpus. La première ligne de document indique Document 1: Sujet 1: 0,95, Sujet 2: 0,05. Cela signifie que, sur la base de l'occurrence des mots dans le document 1, le modèle prévoit que le document 1 est composé à 95 % du sujet 1 et à 5 % du sujet 2. En d'autres termes, notre modèle LDA hypothétique suppose qu'il s'agit des sujets et des proportions de ces sujets utilisés pour générer le modèle.

Bien entendu, les mots polysémiques en particulier posent des problèmes pour ces catégorisations distinctes, par exemple, alien peut faire référence à une personne étrangère à un milieu/environnement ou à une créature extra-terrestre. Dans ce cas, comment l’algorithme LDA détermine-t-il à quel sujet le mot (et par extension, le document) appartient-il ?

Pour attribuer des sujets aux mots, l’algorithme LDA s’appuie sur ce que l’on appelle l’échantillonnage de Gibbs. La formule de l'échantillonnage Gibbs est :

La compréhension des opérations exactes et des hyperparamètres de cette équation nécessite des connaissances de base en statistiques et en techniques de Monte Carlo par chaîne de Markov (ces dernières étant souvent utilisées dans l’apprentissage par renforcement). Néanmoins, nous pouvons résumer les principales composantes de l’équation :

• Le premier rapport exprime la probabilité du sujet t dans le document d. L’algorithme calcule cette probabilité en fonction du nombre de mots dans le document d qui appartiennent au sujet t. Il s’agit essentiellement de la question suivante : quelle est l’importance du sujet t dans le document d ?
• Le second ratio exprime la probabilité que le mot w appartienne au sujet t. L’algorithme calcule cette probabilité en énumérant les occurrences de w in t sur tous les mots-jetons de t. Il pose la question suivante : à quelle fréquence le mot w apparaît-il dans le sujet t dans le reste du corpus ?

Notez que l’échantillonnage de Gibbs est un processus itératif. Autrement dit, un mot n’est pas échantillonné une seule fois, attribué à un sujet et mis de côté. Au contraire, l’échantillonnage de Gibbs fait passer chaque mot par plusieurs itérations, mettant à jour les probabilités sujet-mot les unes par rapport aux autres.⁶

La LDA se distingue par sa distribution probabiliste de chaque document sur un ensemble de sujets partagés. Comme pour d’autres approches de modélisation thématique, ces sujets et leur distribution dans chaque document ne sont pas connus. La modélisation thématique n’est pas supervisée ; aucune donnée étiquetée manuellement ne guide l’analyse. En découvrant des structures thématiques cachées, la LDA annote les documents d’une collection. Ces annotations (c’est-à-dire les sujets découverts) peuvent être utilisées pour classer les textes. Ainsi, la LDA facilite les systèmes de recherche d’information en automatisant l’annotation et l’organisation de grands ensembles de documents.⁷

Comme pour de nombreuses techniques de fouille de texte en science des données, le prétraitement du texte améliore considérablement les résultats du modèle LDA. L’élimination des mots parasites permet de supprimer les mots courants qui ne sont pas pertinents d’un point de vue sémantique. La racinisation ou lemmatisation permet de réduire les variantes morphologiques à des formes de base et, par suite, de regrouper les variations d’un mot que la machine risquerait normalement de séparer, par exemple, danse, danser, danseur, etc.

Étant donné que les modèles LDA sont probabilistes et non déterministes, l’optimisation des modèles peut être un processus difficile. Il n'y a pas de nombre fixe de sujets qui donnent les meilleurs résultats, et il ne semble pas exister de principe directeur, tel qu'un certain nombre de sujets adaptés à un nombre donné de documents. En effet, l'ajustement des paramètres du modèle pour produire des sujets interprétables et cohérents implique de nombreux essais et erreurs.

Quels outils ou indicateurs sont disponibles pour aider les utilisateurs à affiner un modèle LDA ? Pour les novices en matière de modélisation thématique, il peut être frustrant d'apprendre qu'il n'existe pas d'indicateurs de performance unique, ou même d'ensemble d'indicateurs de performance, adoptée dans la littérature.

Approche qualitative. Croyez-le ou non, l’évaluation qualitative n’est pas rare, en particulier dans les applications réelles. Il s’agit souvent d’examiner les cinq ou dix premiers mots-clés de chaque sujet. Ils sont ensuite utilisés pour évaluer les sujets en fonction de leur interprétation par les utilisateurs humains.⁸ Cette sorte de « vision », pour ainsi dire, nécessite une connaissance approfondie du domaine et une familiarité avec les documents considérés.⁹

Cohérence. La cohérence des sujets est une méthode quantitative populaire pour évaluer les sujets générés. Un score de cohérence thématique mesure la fréquence à laquelle les mots les plus probables d’un sujet donné coexistent dans les mêmes documents tout au long du corpus. Plus précisément, il calcule la fréquence de cooccurrence de chaque paire de mots parmi les n premiers mots d’un sujet par rapport à la fréquence de chaque mot dans le corpus. Cela vise à quantifier la cohérence d’un sujet donné. Le score de cohérence global d’un modèle correspond à la moyenne du score de cohérence appartenant à chaque sujet individuel. En effet, ce score global signifie la cohérence moyenne du sujet au sein d’un modèle donné. Comme son nom l’indique, la cohérence évalue les modèles uniquement en fonction de la cohérence de leurs sujets. Les sujets doivent également conserver un certain degré d’exclusivité, pour lequel il n’existe actuellement aucune mesure quantitative.¹⁰

Des recherches récentes montrent que les indicateurs quantitatifs, tels que le score de cohérence, ne sont pas fiables pour l’évaluation des modèles thématiques. Cela est dû en partie à l’ambiguïté de l’objectif évaluatif déclaré de l’interprétabilité : qu’est-ce qui fait qu’un modèle et ses résultats sont interprétables ?¹¹ De plus, les indicateurs automatisés conçus pour les systèmes plus anciens peuvent ne pas bien extrapoler aux systèmes plus récents. Ce problème est compliqué par le manque de transparence dans de nombreuses expériences publiées qui empêche la généralisation des méthodes d’évaluation à d’autres jeux de données ou domaines.¹² La recherche s’est récemment tournée vers les applications de l’intelligence artificielle, notamment les grands modèles de langage (LLM), comme moyen de concevoir et d’évaluer des modèles LDA pour un objectif de recherche spécifique.¹³ Bien que les premiers résultats sont prometteurs, des recherches supplémentaires sont nécessaires.