¿Qué es el modelado de temas?

Los modelos temáticos identifican específicamente palabras clave o frases comunes en un conjunto de datos de texto y agrupan esas palabras en una serie de temas. Su objetivo es descubrir los temas o temas latentes que caracterizan un conjunto de documentos. Así, los modelos de temas son una forma de análisis de texto basada en machine learning que se utiliza para anotar temáticamente grandes corpus de texto².

Los usuarios pueden generar fácilmente modelos de temas con el kit de herramientas de lenguaje natural (NLTK) de scikit-learn y gensim en Python.

Como método de aprendizaje no supervisado, los modelos de temas no requieren etiquetas generadas por el usuario de los datos de entrenamiento, como en las tareas de clasificación de texto supervisadas. En su lugar, los modelos de temas generan, y por extensión anotan, grandes colecciones de documentos con información temática en forma de grupos de palabras conocidos como temas³. Pero, ¿cómo producen los modelos de temas estos grupos de palabras?

El modelado de temas trata esencialmente cada documento individual de una colección de textos como un modelo de bag of words. Esto significa que el algoritmo de modelado de temas ignora el orden de las palabras y el contexto, centrándose simplemente en la frecuencia con la que aparecen las palabras y la frecuencia con la que coexisten dentro de cada documento individual⁴.

La mayoría de los enfoques de modelado de temas comienzan con la generación de una matriz documento-término. Esta matriz modela el conjunto de datos de texto con documentos como filas y palabras individuales como columnas, o viceversa. Los valores de la matriz indican la frecuencia con la que aparece una palabra determinada en cada documento. Esta matriz puede utilizarse para generar un espacio vectorial, donde n palabras equivalen a n dimensiones. El valor de una fila concreta indica la posición de ese documento en el espacio vectorial. Los documentos que utilizan palabras en grupos similares y con una frecuencia comparable estarán, por tanto, más cerca en el espacio vectorial. A partir de aquí, los modelos de temas tratan la proximidad en el espacio vectorial como documentos que comparten contenido conceptual o temas similares⁵.

Sin embargo, los modelos de temas no son sinónimo de bag of words. Mientras que esta última se limita a contar la presencia de palabras en una colección de documentos, los modelos de temas agrupan las palabras más comunes en conjuntos de temas. Cada tema se modela como una distribución de probabilidad en un vocabulario de palabras. Cada documento de la colección se representa entonces en términos de esos temas⁶. De esta manera, los modelos de temas intentan esencialmente aplicar ingeniería inversa a los discursos (es decir, los temas) que produjeron los documentos en cuestión⁷.

Los algoritmos de modelado de temas no son tanto métodos alternativos a una tarea como desarrollos secuenciales destinados a resolver los problemas encontrados inicialmente en los modelos de bag of words. La frecuencia de término-frecuencia inversa de documento (TF-IDF) es una modificación de la bag of words que pretende resolver los problemas derivados de las palabras comunes pero semánticamente irrelevantes, teniendo en cuenta la prevalencia de cada palabra en todos los documentos de un conjunto de textos. El análisis semántico latente (LSA) se basa en el TF-IDF con el objetivo principal de abordar la polisemia y la sinonimia. Esto dio origen al análisis semántico latente probabilístico, del cual surgió la asignación latente de Dirichlet. La característica distintiva de este último es que todos los documentos de una colección comparten el mismo conjunto de temas, aunque en diferentes proporciones⁸.

El análisis semántico latente (LSA) (también llamado indexación semántica latente) implementa una técnica conocida como descomposición de valor singular para reducir la dispersión en la matriz documento-término. Esto alivia los problemas derivados de la polisemia y la sinonimia, es decir, palabras únicas con múltiples significados o varias palabras con un único significado compartido.

La escasez de datos se refiere esencialmente a cuando la mayoría de los valores en un conjunto de datos determinado son nulos (es decir, están vacíos). Esto ocurre con frecuencia cuando se construyen matrices documento-término, para las que cada palabra individual es una fila separada y una dimensión de espacio vectorial, ya que los documentos carecerán regularmente de la mayoría de las palabras que pueden ser más frecuentes en otros documentos. Por supuesto, las técnicas de preprocesamiento de datos de texto, como la eliminación de palabras vacías o el stemming y la lematización, pueden ayudar a reducir el tamaño de la matriz. El LSA ofrece un enfoque más específico para reducir la dispersión y la dimensionalidad.

El LSA comienza con la matriz documento-término, que muestra el número de veces que aparece cada palabra en cada documento. A partir de aquí, el LSA produce una matriz documento-documento y otra término-término. Si las dimensiones de la matriz documento-término se definen como d documentos por w palabras, entonces la matriz documento-documento es d por d y la matriz término-término w por w. Cada valor de la matriz documento-documento indica el número de palabras que cada documento tiene en común. Cada valor de la matriz término-término indica el número de documentos en los que dos términos coexisten⁹.

Mediante estas dos matrices adicionales, el algoritmo LSA realiza una descomposición de valores singulares en la matriz inicial documento-término, lo que produce nuevas matrices especiales de vectores propios. Estas matrices especiales desglosan las relaciones originales documento-término en factores linealmente independientes. Como muchos de estos factores son casi nulos, se tratan como cero y se eliminan de las matrices. Esto reduce las dimensiones del modelo¹⁰.

Una vez que las dimensiones del modelo se han reducido mediante la descomposición en valores singulares, el algoritmo LSA compara los documentos en el espacio dimensional inferior mediante la similitud coseno. Dicha similitud representa la medida del ángulo entre dos vectores en el espacio vectorial. Puede ser cualquier valor entre -1 y 1. Cuanto mayor sea la puntuación del coseno, más parecidos se considerarán dos documentos. La similitud coseno se representa mediante esta fórmula, donde x e y significan dos vectores de elementos en el espacio vectorial¹¹:

La asignación latente de Dirichlet (LDA) (que no debe confundirse con el análisis discriminante lineal), es un algoritmo de modelado probabilístico de temas. Esto significa que genera temas, clasificando palabras y documentos entre estos temas, según distribuciones de probabilidad. Con la matriz documento-término, el algoritmo LDA genera distribuciones de temas (es decir, listas de palabras clave con respectivas probabilidades) según la frecuencia de palabras y las coocurrencias. Se supone que las palabras que aparecen juntas probablemente forman parte de temas similares. El algoritmo asigna distribuciones documento-tema basadas en los grupos de palabras que aparecen en el documento dado¹².

Por ejemplo, supongamos que generamos un modelo LDA para una colección de artículos de noticias que tiene la siguiente salida parcial:

Estos son dos temas que pueden describirse como inmigración (Tema 1) y astronomía (Tema 2). Las puntuaciones adjuntas a cada palabra son la probabilidad de que esa palabra clave aparezca en su tema dado. Las probabilidades adjuntas a cada documento son las probabilidades respectivas de que ese documento pertenezca a una mezcla de temas, dada la distribución y la coocurrencia de palabras de cada tema dentro de ese documento. Por ejemplo, la primera fila de la tabla enumera el borde bajo el Tema 1 con una probabilidad del 40 % y un espacio en el Tema 2 con una probabilidad del 60 %. Estos porcentajes indican la probabilidad de que sus respectivos términos aparezcan en ese tema a lo largo de todo el corpus. La primera fila del documento dice Documento 1: Tema 1: .95, Tema 2: .05. Esto significa que, basándose en la aparición de palabras en el Documento 1, el modelo proyecta que el Documento 1 se deriva en un 95 % del Tema 1 y un 5 % del Tema 2. En otras palabras, nuestro modelo hipotético LDA asume que estos son los temas y las proporciones de esos temas utilizados para generar el modelo.

Por supuesto, las palabras polisémicas en particular crean problemas para categorías tan discretas; por ejemplo, alienígena puede hacer referencia a un inmigrante humano o a una criatura extraterrestre. Si nuestro algoritmo encuentra un alienígena en un documento, ¿cómo determina a qué tema pertenece la palabra (y por extensión, el documento)?

Al asignar temas a las palabras, el algoritmo LDA utiliza lo que se conoce como muestreo de Gibbs. La fórmula de muestreo de Gibbs es:

Comprender las operaciones exactas de esta ecuación y sus hiperparámetros requiere conocimientos básicos de estadística y de las técnicas de Monte Carlo basadas en cadenas de Markov (estas últimas se emplean a menudo en el aprendizaje por refuerzo). No obstante, podemos resumir los componentes principales de la ecuación:

• El primer ratio expresa la probabilidad del tema t en el documento d. El algoritmo calcula esta probabilidad según el número de palabras del documento d que pertenecen al tema t. Esto pregunta esencialmente: ¿cuál es la prevalencia del tema t en el documento d?
• La segunda relación expresa la probabilidad de que la palabra w pertenezca al tema t. El algoritmo calcula esta probabilidad enumerando las ocurrencias de w en t sobre todos los tokens de palabras en t. Se pregunta: ¿con qué frecuencia aparece la palabra w en el tema t en el resto del corpus?

Tenga en cuenta que el muestreo de Gibbs es un proceso iterativo. Es decir, una palabra no se muestrea una vez, se le asigna un tema y se desecha. Más bien, el muestreo de Gibbs pasa cada palabra por múltiples iteraciones, actualizando las probabilidades tema-palabra en función de las demás¹³.

Hay muchos casos de uso para los modelos de temas, desde la crítica literaria¹⁴ hasta la bioinformática¹⁵ y la detección de discursos de odio en las redes sociales¹⁶. Como ocurre con muchas tareas de PLN, una proporción importante de la investigación sobre modelos de temas a lo largo de los años se refiere al inglés y otros lenguajes de escritura latina. Sin embargo, en los últimos años se han estudiado modelos de temas para el árabe y otras lenguas no latinas¹⁷.

La investigación en curso también aborda las métricas de evaluación de los modelos de temas. De hecho, no se utiliza ninguna métrica para evaluar los modelos de temas. Las métricas de evaluación anteriores han adoptado enfoques cualitativos y cuantitativos. El primero requiere un conocimiento significativo y específico del dominio para evaluar los términos clave del modo de tema para su interpretabilidad¹⁸. Las medidas cuantitativas consisten en puntuaciones de coherencia y de log-verosimilitud, que tienen como objetivo medir la probabilidad y la cohesión de los temas dentro de un modelo¹⁹. Sin embargo, un amplio conjunto de investigaciones sostiene que estas métricas cuantitativas pueden no ser fiables²⁰.

En un intento por resolver problemas relacionados con la evaluación de modelos de temas, un estudio investiga las aplicaciones de inteligencia artificial , en particular los modelos de lenguaje de gran tamaño (LLM), como medio para diseñar y evaluar modelos LDA para objetivos de investigación específicos. Los LLM, sostiene el estudio, pueden ayudar a resolver problemas de larga data en el modelado de temas, a saber, cómo determinar y evaluar el número adecuado de temas²¹. Otros estudios también recurren a las aplicaciones de LLM como medio para abordar la brecha de evaluación en el modelado de temas²².