La asignación latente de Dirichlet es una técnica de modelización de temas para descubrir los temas centrales y sus distribuciones en un conjunto de documentos.
La asignación latente de Dirichlet (LDA), que no debe confundirse con el análisis discriminante lineal en machine learning, es un enfoque bayesiano de modelado de temas. En pocas palabras, la LDA es una forma condicional y probabilística de modelado de temas.
El modelado de temas es una técnica de procesamiento de lenguaje natural que aplica el aprendizaje no supervisado a grandes conjuntos de datos de texto con el fin de producir un conjunto resumido de términos derivados de esos documentos. Estos términos pretenden representar el conjunto de temas principales de la colección. De este modo, los modelos temáticos pretenden descubrir los temas latentes que caracterizan una colección de documentos.1
Los usuarios pueden generar fácilmente modelos temáticos LDA empleando el kit de herramientas de lenguaje natural (NLTK) de scikit-learn (o sklearn) y gensim en Python. Los paquetes topicmodels y lda de R también contienen funciones para generar modelos temáticos de LDA.
Boletín de la industria
Obtenga insights curados sobre las noticias más importantes e intrigantes de la IA. Suscríbase a nuestro boletín semanal Think. Consulte la Declaración de privacidad de IBM .
Su suscripción se entregará en inglés. En cada boletín, encontrará un enlace para darse de baja. Puede gestionar sus suscripciones o darse de baja aquí. Consulte nuestra Declaración de privacidad de IBM para obtener más información.
La LDA es un modelo probabilístico. Esto significa que el algoritmo LDA genera temas, clasificando palabras y documentos entre estos diferentes temas, de acuerdo con distribuciones de probabilidad. Pero, ¿por qué es este un método apropiado para descubrir estructuras temáticas ocultas en los datos de texto? Básicamente, la LDA asume que los documentos se han generado a través de un muestreo aleatorio de temas previos al documento, e intenta aplicar ingeniería inversa a este muestreo.
El proceso de texto generativo imaginado de la LDA comienza con temas previos al documento. Cada tema es un vocabulario fijo de palabras, en el que cada palabra tiene una probabilidad de pertenecer a ese tema. Nótese que a las palabras se les asignan probabilidades en lugar de una categoría discreta para dar cuenta de la pluralidad potencial de significado y uso. Luego, para crear un documento de texto, la máquina genera aleatoriamente una distribución sobre temas, por ejemplo, ochenta y cinco por ciento política, diez por ciento finanzas, cinco por ciento historia. Para cada palabra de este documento, la máquina selecciona aleatoriamente uno de los temas elegidos y emite de manera aleatoria una palabra de ese tema. Tenga en cuenta que la LDA no genera documentos por sí mismo de esta manera. Más bien, este es el proceso por el cual la LDA asume que se generan los documentos. La propia LDA intenta revertir este proceso para descubrir los temas generales y ocultos que impregnan un corpus de documentos.
Esta figura ilustra el supuesto proceso de generación de texto subyacente a la LDA:
En la parte inferior de esta imagen hay una variedad aleatoria de temas compuestos por una distribución de palabras. Estos temas existen para cada documento de la colección. Para generar un documento determinado (en este ejemplo, Otelo de Shakespeare), la máquina genera una distribución de temas, que es el gráfico de la extrema derecha. Esta distribución son los temas (y la proporción de cada uno) que compondrán el documento. Para cada palabra del documento, la máquina selecciona aleatoriamente uno de los temas elegidos (la columna de puntos de colores), de los cuales a su vez elige aleatoriamente una palabra (los términos resaltados).2 Tenga en cuenta que esta visualización es solo un ejemplo ilustrativo y no el resultado de ningún modelado de tema o generación de texto real. Sin embargo, como se mencionó, LDA asume que cada documento es generado por este proceso generativo general, que LDA intenta aplicar mediante ingeniería inversa.
Al igual que otros enfoques de modelado temático, como el análisis semántico latente (LSA), el LDA aborda los documentos de los corpus como bag of words. Esto significa que el LDA ignora el orden de las palabras y el contexto. En cambio, se centra en la frecuencia con la que las palabras aparecen y ocurren simultáneamente en cada documento individual.3 La frecuencia de palabras y la ocurrencia simultánea se modelan en la matriz documento-término. Aquí, los documentos son filas y las palabras individuales son columnas, o viceversa. El valor de cada celda indica la frecuencia con la que aparece una palabra determinada en cada documento.4
Mediante la matriz documento-término, el algoritmo LDA genera distribuciones de temas (es decir, listas de palabras clave con probabilidades respectivas) según la frecuencia de las palabras y sus co-ocurrencias. Mediante el seguimiento de la frecuencia de co-ocurrencia, LDA asume que las palabras que aparecen juntas son probablemente parte de temas similares. A continuación, el algoritmo asigna distribuciones documento-tema basadas en los grupos de palabras que aparecen en el documento en cuestión.5
Por ejemplo, supongamos que generamos un modelo LDA para una colección de artículos de noticias que tiene el siguiente resultado parcial
Estos son dos temas que pueden describirse como inmigración (Tema 1) y astronomía (Tema 2). Las puntuaciones adjuntas a cada palabra son la probabilidad de que esa palabra clave aparezca en su tema dado. Las probabilidades adjuntas a cada documento son las probabilidades respectivas de que ese documento pertenezca a una mezcla de temas, dada la distribución y la coocurrencia de palabras de cada tema dentro de ese documento. Por ejemplo, la primera fila de la tabla enumera el borde bajo el Tema 1 con una probabilidad del 40 % y un espacio en el Tema 2 con una probabilidad del 60 %. Estos porcentajes indican la probabilidad de que sus respectivos términos aparezcan en ese tema a lo largo de todo el corpus. La primera fila del documento dice Documento 1: Tema 1: .95, Tema 2: .05. Esto significa que, basándose en la aparición de palabras en el Documento 1, el modelo proyecta que el Documento 1 se deriva en un 95 % del Tema 1 y un 5 % del Tema 2. En otras palabras, nuestro modelo hipotético LDA asume que estos son los temas y las proporciones de esos temas utilizados para generar el modelo.
Por supuesto, las palabras polisémicas en particular crean problemas para categorías tan discretas; por ejemplo, alienígena puede hacer referencia a un inmigrante humano o a una criatura extraterrestre. En tales casos, ¿cómo determina el algoritmo LDA a qué tema pertenece la palabra (y, por extensión, el documento)?
Al asignar temas a las palabras, el algoritmo LDA utiliza lo que se conoce como muestreo de Gibbs. La fórmula de muestreo de Gibbs es:
Comprender las operaciones exactas de esta ecuación y sus hiperparámetros requiere conocimientos básicos de estadística y de las técnicas de Monte Carlo de cadenas de Markov (estas últimas se emplean a menudo en el aprendizaje por refuerzo). No obstante, podemos resumir los componentes principales de la ecuación:
Tenga en cuenta que la ejemplificación de Gibbs es un proceso iterativo. Es decir, una palabra no se muestrea una vez, se le asigna un tema y se descarta. Más bien, la ejemplificación de Gibbs pasa cada palabra a través de múltiples iteraciones, actualizando las probabilidades de palabra temática a la luz de las demás.6
La característica distintiva de LDA es la distribución probabilística de cada documento sobre un conjunto compartido de temas. Al igual que con otros enfoques de modelado de temas, no se conocen estos temas ni su distribución en cada documento. El modelado de temas no está monitorear; no hay datos etiquetados manualmente que guíen el análisis. Al descubrir estructuras temáticas ocultas, LDA en última instancia anota documentos en toda una colección. Estas anotaciones (es decir los temas no cubiertos) se pueden emplear para clasificar textos. De esta manera, LDA ayuda a los sistemas de recuperación de información al automatizar la anotación y organización de grandes colecciones de documentos.7
Al igual que con muchas técnicas de minería de texto en ciencia de datos, el preprocesamiento de texto mejora enormemente los resultados del modelo LDA. La eliminación de palabras irrelevantes elimina las palabras comunes y semánticamente irrelevantes. El cálculo o lematización ayuda a reducir las variantes morfológicas a formas básica, con lo que se fusionan variaciones de una palabra que, de otro modo, la máquina podría separar, por ejemplo, bailar, baile, bailarín, etc.
Puesto que los modelos LDA son probabilísticos y no deterministas, la optimización del modelo puede ser un proceso difícil. No hay un número determinado de temas que produzca los mejores resultados, ni parece existir ningún principio rector, como un número determinado de temas adecuados para un número determinado de documentos. De hecho, el ajuste fino de los parámetros del modelo para producir temas interpretables y coherentes implica una gran cantidad de prueba y error.
¿Qué herramientas o métricas están disponibles para ayudar a un usuario a ajustar un modelo LDA? Para los que son nuevos en la modelización de temas, puede resultar frustrante saber que no hay una métrica de rendimiento única, ni siquiera una colección de, adoptada en la literatura.
Cualitativo. Lo crea o no, la evaluación cualitativa no es infrecuente, especialmente en aplicaciones del mundo real. A menudo, esto puede implicar el examen de las cinco o diez palabras clave principales para cada tema. A continuación, se emplean para evaluar los temas en función de la interpretabilidad de los temas por parte de los usuarios humanos.8 Este tipo de "observación", por así decirlo, requiere una cantidad significativa de conocimiento experto del dominio y familiaridad con los documentos bajo consideración.9
Coherencia. La coherencia de temas es un método cuantitativo popular para evaluar los temas generados. Un puntaje de coherencia temática mide la frecuencia con la que las palabras más probables de un tema determinado aparecen conjuntamente en los mismos documentos a lo largo del corpus. Más específicamente, calcula la frecuencia de ocurrencia simultánea de cada par de palabras de las n palabras principales de un tema contra la frecuencia de cada palabra individual en el corpus. El objetivo es cuantificar la coherencia de un tema determinado. El puntaje de coherencia general de un modelo promedia el puntaje de coherencia perteneciente a cada tema individual. En efecto, este puntaje general significa la coherencia temática promedio dentro de un modelo dado. Como su nombre lo indica, la coherencia evalúa los modelos únicamente en función de cuán cohesivos son sus temas. Los temas también deben mantener un grado de exclusividad, para lo cual, actualmente no existe una medida cuantitativa.10
Investigaciones recientes muestran que las métricas cuantitativas, como el puntaje de coherencia, no son confiables para la evaluación de modelos temáticos. Esto se debe, en parte, a la ambigüedad en el objetivo evaluativo profesado de la interpretabilidad: ¿qué hace que un modelo y sus resultados sean interpretables?11 Además, es posible que las métricas automatizadas diseñadas para sistemas más antiguos no se extrapolen bien a los sistemas más nuevos. Este problema se complica por la falta de transparencia en muchos experimentos publicados que impiden la generalización de los métodos de evaluación a otros conjuntos de datos o dominios.12 La investigación se centró recientemente en las aplicaciones de la inteligencia artificial, en particular los modelos de lenguaje grandes (LLM), como medio para diseñar y evaluar modelos LDA para un objetivo de investigación específico.13 Si bien esto muestra resultados prometedores, se necesita más investigación.
Diseñe asistentes y agentes de IA escalables con facilidad, automatice tareas repetitivas y simplifique procesos complejos con IBM watsonx Orchestrate.
Acelere el valor de negocio de la inteligencia artificial con una cartera potente y flexible de bibliotecas, servicios y aplicaciones.
Reinvente los flujos de trabajo y las operaciones críticas añadiendo IA para maximizar las experiencias, la toma de decisiones en tiempo real y el valor empresarial.
1 Daniel Jurafsky and James Martin, Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, 3rd edition, 2023, https://web.stanford.edu/~jurafsky/slp3/. Jay Alammar and Maarten Grootendorst, Hands-On Large Language Models, O’Reilly, 2024.
2 David Blei, "Modelos de temas probabilísticos", Comunicaciones de la ACM, Vol. 55, No. 4, 2012, págs. 77-84. Zhiyuan Chen y Bing Liu, "Modelos temáticos para aplicaciones de NLP", Enciclopedia de machine learning y minería de datos, Springer, 2017.
3 Matthew Jockers, Text Analysis with R for Students of Literature, Springer, 2014.
4 Cole Howard, Hobson Lane, and Hannes Hapke, Natural Language Processing in Action, Manning Publications, 2019. Sowmya Vajjala, Bodhisattwa Majumder, Anuj Gupta, Harshit Surana, Practical Natural Language Processing, O’Reilly, 2020.
5 Sowmya Vajjala, Bodhisattwa Majumder, Anuj Gupta, Harshit Surana, Practical Natural Language Processing, O'Reilly, 2020. David Blei, Andrew Ng y Michael Jordan, "Lantent Dirichlet Allocation", Journal of Machine Learning Research, Vol. 3, 2003, pp. 993-1022.
6 Zhiyuan Chen and Bing Liu, “Topic Models for NLP Applications,” Encyclopedia of Machine Learning and Data Mining, Springer, 2017.
7 David Blei, “Probabilistic Topic Models,” Communications of the ACM, Vol. 55, No. 4, 2012, pp. 77-84.
8 Chandler Camille May, “Topic Modeling in Theory and Practice,” Dissertation, John Hopkins University, 2022.
9 Matthew Gillings and Andrew Hardie, “The interpretation of topic models for scholarly analysis: An evaluation and critique of current practice,” Digital Scholarship in the Humanities, Vol. 38, No. 2, 2023, pp. 530-543, https://academic.oup.com/dsh/article-abstract/38/2/530/6957052
10 Chandler Camille May, “Topic Modeling in Theory and Practice,” Dissertation, John Hopkins University, 2022. https://aclanthology.org/D11-1024/
11 Zachary Lipton, “The Mythos of Model Interpretability: In machine learning, the concept of interpretability is both important and slippery,” Queue, Vol. 16, No. 3, pp. 31-57, https://dl.acm.org/doi/10.1145/3236386.3241340 . Caitlin Doogan and Wray Buntine, “Topic Model or Topic Twaddle? Re-evaluating Semantic Interpretability Measures,” Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2021, pp. 3824-3848, https://aclanthology.org/2021.naacl-main.300 .
12 Alexander Hoyle, Pranav Goel, Andrew Hian-Cheong, Denis Peskov, Jordan Boyd-Graber, Philip Resnik, “Is Automated Topic Model Evaluation Broken? The Incoherence of Coherence,” Advances in Neural Information Processing Systems, 2021, pp. 2018-2033, https://proceedings.neurips.cc/paper_files/paper/2021/hash/0f83556a305d789b1d71815e8ea4f4b0-Abstract.html . Caitlin Doogan and Wray Buntine, “Topic Model or Topic Twaddle? Re-evaluating Semantic Interpretability Measures,” Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2021, pp. 3824-3848, https://aclanthology.org/2021.naacl-main.300 .
13 Dominik Stammbach, Vilém Zouhar, Alexander Hoyle, Mrinmaya Sachan, and Elliott Ash, “Revisiting Automated Topic Model Evaluation with Large Language Models,” Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023, pp. 9348-9357, https://aclanthology.org/2023.emnlp-main.581/ .