¿Qué es el modelado de temas?

En el procesamiento de lenguaje natural (PLN), el modelado de temas es una técnica de minería de textos que aplica el aprendizaje no supervisado en grandes conjuntos de textos para producir un conjunto resumido de términos derivados de esos documentos que representan el conjunto principal general de temas de la colección.¹ Los modelos de temas identifican específicamente palabras clave o frases comunes en un conjunto de datos de texto y agrupan esas palabras en una serie de temas. Por lo tanto, los modelos temáticos tienen como objetivo descubrir los temas latentes o temas que caracterizan un conjunto de documentos. De esta manera, los modelos de temas son una forma de análisis de texto basada en el machine learning que se emplea para anotar temáticamente grandes corpus de texto.²

Los usuarios pueden generar fácilmente modelos de temas utilizando el kit de herramientas de lenguaje natural (NLTK) de scikit-learn y gensim en Python.

Como método de aprendizaje no supervisado, los modelos de temas no requieren etiquetas de datos de entrenamiento generadas por el usuario, como en las tareas de clasificación de texto supervisado . Más bien, los modelos de temas generan y, por extensión, anotan grandes colecciones de documentos con información temática en forma de grupos de palabras conocidos como temas.³ Pero, ¿cómo producen los modelos temáticos estos grupos de palabras?

El modelado de temas esencialmente trata cada documento individual en una colección de textos como un modelo bag of words. Esto significa que el algoritmo de creación de modelos de temas ignora el orden de las palabras y el contexto, ya que simplemente se centra en la frecuencia con la que aparecen las palabras y la frecuencia con la que coexisten dentro de cada documento individual.⁴

La mayoría de los enfoques de creación de modelos de temas comienzan generando una matriz documento-término. Esta matriz modela el conjunto de datos de texto con documentos como filas y palabras individuales como columnas, o viceversa. Los valores de la matriz indican la frecuencia con la que una palabra determinada aparece en cada documento. Esta matriz se puede emplear luego para generar un espacio vectorial, donde n palabras equivalen a n dimensiones. El valor de una fila determinada indica la posición de ese documento en el espacio vectorial. Los documentos que emplean palabras en grupos similares y con una frecuencia comparable residirán más cerca unos de otros en el espacio vectorial. A partir de aquí, los modelos de temas tratan la proximidad en el espacio vectorial como documentos que comparten contenido conceptual o temas similares.⁵

Sin embargo, los modelos temáticos no son sinónimo de Bag of words. Mientras que este último simplemente cuenta la presencia de palabras dentro de una colección de documentos, los modelos de temas agrupan palabras que comúnmente coexisten en conjuntos de temas. Cada tema se modela como una distribución de probabilidad a través de un vocabulario de palabras. Cada documento de la colección se representa en términos de esos temas.⁶ De esta manera, los modelos de temas esencialmente intentan aplicar ingeniería inversa a los discursos (es decir, los temas) que produjeron los documentos en cuestión.⁷

Los algoritmos de modelado de temas no son tanto métodos alternativos a una tarea como desarrollos secuenciales destinados a resolver problemas encontrados inicialmente en modelos de Bag of words. La recurrencia del término frecuencia inversa de documentos (TF-IDF) es una modificación de una Bag of words destinada a abordar los problemas resultantes de palabras comunes pero semánticamente irrelevantes al tener en cuenta la prevalencia de cada palabra en cada documento en un conjunto de texto. El análisis semántico latente se basa en TF-IDF con la intención principal de abordar la polisemia y la sinonimia. Esto dio origen al análisis semántico latente probabilístico, a partir del cual creció la asignación latente de Dirichlet. La característica distintiva de este último es que todos los documentos de una colección comparten el mismo conjunto de temas, aunque en proporciones diferentes.⁸

El análisis semántico latente (LSA) (también llamado indexación semántica latente) despliega una técnica conocida como descomposición de valores singulares para reducir la dispersión en la matriz documento-término. Esto alivia los problemas derivados de la polisemia y la sinonimia, es decir, palabras individuales con múltiples significados o varias palabras con un único significado compartido.

La escasez de datos significa que la mayoría de los valores de un conjunto de datos son nulos (es decir, están vacíos). Esto suele ocurrir cuando se construyen matrices documento-término, en las que cada palabra constituye una fila y una dimensión de espacio vectorial independiente, ya que los documentos suelen carecer de la mayoría de las palabras que pueden ser más frecuentes en otros documentos. Por supuesto, las técnicas de preprocesamiento de datos de texto, como la eliminación de palabras vacías o la derivación y lematización, pueden ayudar a reducir el tamaño de la matriz. LSA ofrece un enfoque más específico para reducir la escasez y la dimensionalidad.

La LSA comienza con la matriz documento-término, que muestra el número de veces que aparece cada palabra en cada documento. A partir de aquí, LSA produce una matriz documento a documento y una matriz término a término. Si las dimensiones de la matriz documento-término se definen como d documentos por w palabras, entonces la matriz documento-documento es d por d y la matriz término-término w por w. Cada valor de la matriz documento-documento indica el número de palabras que cada documento tiene en común. Cada valor de la matriz término a término indica el número de documentos en los que coexisten dos términos.⁹

Con estas dos matrices adicionales, el algoritmo LSA realiza una descomposición de valores singulares en la matriz documento-término inicial, produciendo nuevas matrices especiales de vectores propios. Estas matrices especiales desglosan las relaciones originales entre el documento y el término en factores linealmente independientes. Debido a que muchos de estos factores son cercanos a cero, se tratan como cero y se eliminan de las matrices. Esto reduce las dimensiones del modelo.¹⁰

Una vez reducidas las dimensiones del modelo mediante la descomposición del valor singular, el algoritmo LSA compara los documentos en el espacio dimensional inferior empleando la similitud del coseno. La similitud coseno significa la medida del ángulo entre dos vectores en el espacio vectorial. Puede ser cualquier valor entre -1 y 1. Cuanto mayor sea el puntaje del coseno, más parecidos se considerarán dos documentos. La similitud del coseno se representa mediante esta fórmula, donde x e y significan dos vectores de elementos en el espacio vectorial:¹¹

La asignación latente de Dirichlet (LDA) —que no debe confundirse con análisis discriminante lineal — es un algoritmo de modelado de temas probabilístico. Esto significa que genera temas, clasificando palabras y documentos entre estos temas, de acuerdo con distribuciones de probabilidad. Empleando la matriz documento-término, el algoritmo LDA genera distribuciones de temas (es decir, listas de palabras clave con probabilidades respectivas) de acuerdo con la frecuencia de palabras y las co-ocurrencias. Esta suposición es que las palabras que ocurren juntas son probablemente parte de temas similares. El algoritmo asigna distribuciones de temas de documentos en función de los grupos de palabras que aparecen en el documento dado.¹²

Por ejemplo, supongamos que generamos un modelo LDA para una colección de artículos de noticias que tiene el siguiente resultado parcial:

Estos son dos temas que pueden describirse como inmigración (Tema 1) y astronomía (Tema 2). Las puntuaciones adjuntas a cada palabra son la probabilidad de que esa palabra clave aparezca en su tema dado. Las probabilidades adjuntas a cada documento son las probabilidades respectivas de que ese documento pertenezca a una mezcla de temas, dada la distribución y la coocurrencia de palabras de cada tema dentro de ese documento. Por ejemplo, la primera fila de la tabla enumera el borde bajo el Tema 1 con una probabilidad del 40 % y un espacio en el Tema 2 con una probabilidad del 60 %. Estos porcentajes indican la probabilidad de que sus respectivos términos aparezcan en ese tema a lo largo de todo el corpus. La primera fila del documento dice Documento 1: Tema 1: .95, Tema 2: .05. Esto significa que, basándose en la aparición de palabras en el Documento 1, el modelo proyecta que el Documento 1 se deriva en un 95 % del Tema 1 y un 5 % del Tema 2. En otras palabras, nuestro modelo hipotético LDA asume que estos son los temas y las proporciones de esos temas utilizados para generar el modelo.

Por supuesto, las palabras polisémicas en particular crean problemas para categorizaciones tan discretas; por ejemplo, 'alien' puede referirse a un inmigrante humano o una criatura extraterrestre. Si nuestro algoritmo encuentra 'alien' en un documento, ¿cómo determina a qué tema pertenece la palabra (y, por extensión, el documento)?

Al asignar temas a las palabras, el algoritmo LDA emplea lo que se conoce como ejemplificación de Gibbs. La fórmula de ejemplificación de Gibbs es:

Comprender las operaciones exactas de esta ecuación y sus hiperparámetros requiere conocimientos básicos de estadística y de las técnicas de Monte Carlo de cadenas de Markov (estas últimas se emplean a menudo en el aprendizaje por refuerzo). No obstante, podemos resumir los componentes principales de la ecuación:

• El primer ratio expresa la probabilidad del tema t en el documento d. El algoritmo calcula esta probabilidad según el número de palabras del documento d que pertenece al tema t. Esto pegunta esencialmente: ¿cuál es la prevalencia del tema t en el documento d?
• La segunda relación expresa la probabilidad de que la palabra w pertenezca al tema t. El algoritmo calcula esta probabilidad enumerando las ocurrencias de w en t sobre todos los tokens de palabras en t. Se pregunta: ¿con qué frecuencia aparece la palabra w en el tema t en el resto del corpus?

Tenga en cuenta que la ejemplificación de Gibbs es un proceso iterativo. Es decir, una palabra no se muestrea una vez, se le asigna un tema y se descarta. Más bien, la ejemplificación de Gibbs pasa cada palabra a través de múltiples iteraciones, actualizando las probabilidades de palabra temática a la luz de las demás.¹³

Hay muchos casos de uso para los modelos de temas, desde la crítica literaria¹⁴ hasta la bioinformática¹⁵ y la detección de discursos de odio en las redes sociales.¹⁶ Al igual que con muchas tareas de PLN, una proporción significativa de la investigación de modelado de temas a lo largo de los años se refiere al inglés y otros idiomas de escritura latina. Sin embargo, más recientemente, la investigación exploró enfoques de modelado de temas para el árabe y otros idiomas no latinos.¹⁷

La investigación en curso también aborda las métricas de evaluación para los modelos temáticos. De hecho, no se emplea ninguna métrica para evaluar los modelos temáticos. Las métricas de evaluación anteriores adoptaron enfoques cualitativos y cuantitativos. El primero requiere un conocimiento significativo específico del dominio para evaluar los términos clave del modo tópico para la interpretabilidad.¹⁸ Las medidas cuantitativas consisten en puntajes log-verosimilitud y coherencia, que tienen como objetivo medir la probabilidad y cohesión de los temas dentro de un modelo.¹⁹ Un amplio cuerpo de investigación argumenta, sin embargo, tales métricas cuantitativas pueden ser poco fiables.²⁰

En un intento por resolver problemas relacionados con la evaluación de modelos de temas, un estudio investiga aplicaciones de inteligencia artificial , en particular modelos de lenguaje grandes (LLM), como un medio para diseñar y evaluar modelos LDA para objetivos de investigación específicos. Según el estudio, los LLM pueden ayudar a resolver problemas de larga data en el modelado temático, a saber, cómo determinar y evaluar el número adecuado de temas^.21 Otros estudios también recurren a las aplicaciones de LLM como medio para abordar la laguna de evaluación en el modelado temático^.22