¿Qué es el análisis semántico latente?

El LSA es una de las dos principales técnicas de modelado de temas, la otra es la asignación latente de Dirichlet (LDA). El modelado de temas es una técnica de procesamiento del lenguaje natural (PLN) que aplica el aprendizaje no supervisado en conjuntos de datos de texto grandes para producir un conjunto resumido de términos derivados de esos documentos. Estos términos están destinados a representar el conjunto principal general de temas de la colección. Los modelos de temas pretenden descubrir los temas latentes que caracterizan a un conjunto de documentos¹.

Los usuarios pueden generar modelos de temas LSA con el kit de herramientas de lenguaje natural (NLTK) de scikit-learn (comúnmente conocido como sklearn) y gensim en Python. Los modelos de temas y los paquetes lsa en R también contienen funciones para generar modelos de temas LSA.

El análisis semántico latente se asocia con la indexación semántica latente (LSI), que es una técnica de  recuperación de información. En los sistemas de recuperación de información, la LSI utiliza el mismo procedimiento matemático subyacente al LSA para asignar consultas de usuario a documentos basados en la coocurrencia de palabras. Si un usuario consulta un sistema en busca de vals y foxtrot, es posible que le interesen documentos que no contengan ninguno de esos términos, pero que contengan términos que a menudo coexisten con sus términos de consulta. Por ejemplo, el tango y el bolero pueden coincidir con frecuencia con los términos de consulta y deben indicar documentos sobre el mismo tema. La LSI indexa los documentos de acuerdo con grupos de palabras semánticas latentes que consisten en palabras que ocurren a la vez de manera habitual. De esta manera, puede mejorar los resultados de los motores de búsqueda. El LSA aplica el mismo procedimiento matemático que la LSI para capturar la estructura semántica oculta que subyace a grandes colecciones de documentos².

El LSA comienza con la matriz documento-término o, a veces, una matriz término-documento. Esto muestra el número de apariciones de cada palabra en todos los documentos. En Python (por poner un ejemplo), los usuarios pueden construir estas matrices utilizando un dataframe de pandas. He aquí un ejemplo de matriz documento-término que utiliza las tres cadenas de texto como documentos individuales:

d1: My love is like red, red roses

d2: Roses are red, violets are blue

d3: Moses supposes his toes-es are roses

Esta matriz muestra la frecuencia de cada palabra en los tres documentos tras la tokenización y la eliminación de palabras vacías. Cada columna corresponde a un documento, mientras que cada fila corresponde a una palabra específica que se encuentra en todo el corpus de texto. Los valores de la matriz indican el número de veces que aparece un término determinado en un documento determinado. Si el término w aparece n veces en el documento d, entonces [w,d] = n. Así, por ejemplo, el documento 1 utiliza "red" dos veces, por lo que [red, d1] = 2.

A partir de la matriz documento-término, el LSA produce una matriz documento-documento y una matriz término-término. Si las dimensiones de la matriz documento-término se definen como d documentos por w palabras, entonces la matriz documento-documento es d por d y la matriz término-término w por w. Cada valor de la matriz documento-documento indica el número de palabras que tiene en común cada documento. Cada valor de la matriz término-término indica el número de documentos en los que dos términos coexisten⁹.

La escasez de datos, que conduce al modelo a un sobreajuste, se produce cuando la mayoría de los valores de los datos de un conjunto de datos determinado son nulos (es decir, están vacíos). Esto ocurre regularmente cuando se construyen matrices documento-término, para las que cada palabra individual es una fila y una dimensión de espacio vectorial independiente, ya que un documento carecerá regularmente de la mayoría de las palabras que son más frecuentes en otros documentos. De hecho, el ejemplo de matriz documento-término aquí utilizado contiene numerosos usos de palabras como Moses, violets y blue que solo aparecen en un documento. Por supuesto, las técnicas de preprocesamiento del texto, como la eliminación de las palabras vacías, el stemming y la lematización, pueden ayudar a reducir la escasez. Sin embargo, el LSA ofrece un enfoque más específico.

El LSA implementa una técnica de reducción de dimensionalidad conocida como descomposición de valores singulares (SVD) para reducir la dispersión en la matriz documento-término. La SVD impulsa muchos otros enfoques de reducción de dimensiones, como el análisis de componentes principales. La SVD ayuda a aliviar los problemas derivados de la polisemia, palabras únicas que tienen múltiples significados, y la sinonimia, palabras diferentes con significado similar.

A partir de las matrices calculadas con los términos en las matrices documento-documento y término-término, el algoritmo LSA realiza la SVD en la matriz término-documento inicial. Esto produce nuevas matrices especiales de vectores propios que descomponen las relaciones originales entre el término y el documento en factores linealmente independientes. La más importante de ellas es la matriz diagonal de valores singulares producida a partir de las raíces cuadradas de los valores propios de la matriz documento-documento. En esta matriz diagonal, a menudo representada como Σ, los valores son siempre positivos y están dispuestos en orden decreciente en la diagonal de la matriz:

Como se muestra en este ejemplo de matriz Σ, muchos de los valores más bajos están cerca de cero. El desarrollador determina un valor de corte apropiado para su situación y reduce a cero todos los valores singulares en Σ por debajo de ese umbral. Esto significa eliminar todas las filas y columnas completamente ocupadas por ceros. A su vez, eliminamos filas y columnas de nuestras otras matrices originales hasta que tengan el mismo número de filas y columnas que Σ. Esto reduce las dimensiones del modelo⁴.

Una vez que las dimensiones del modelo se han reducido mediante SVD, el algoritmo LSA compara los documentos en un espacio semántico de menor dimensión utilizando la similitud del coseno. El primer paso en esta etapa de comparación implica mapear documentos en espacio vectorial. Aquí, la LSA trata los textos como un modelo bag of words. El algoritmo traza cada texto del corpus o corpus como vector de documento, con palabras individuales de la matriz reducida como las dimensiones de ese vector. El trazado ignora el orden de las palabras y el contexto, centrándose en cambio en la frecuencia con la que aparecen las palabras y la frecuencia con la que coexisten en los documentos⁵.

Con los modelos estándar de bag of words, las palabras semánticamente irrelevantes (por ejemplo, palabras como the y some y otras palabras similares) pueden tener la mayor frecuencia de términos y, por lo tanto, el mayor peso en un modelo. El término frecuencia de documento de frecuencia inversa (TF-IDF) es una técnica para corregir esto. Para ello, tiene en cuenta la prevalencia de una palabra en todos los documentos de un conjunto de textos y pondera las palabras de cada documento en función de la prevalencia de la palabra en todo el corpus⁶.

Una vez que los documentos se trazan en el espacio vectorial, el algoritmo LSA utiliza la métrica de similitud del coseno para compararlos. La similitud de coseno significa la medida del ángulo entre dos vectores en el espacio vectorial. Puede ser cualquier valor entre -1 y 1. Cuanto mayor sea la puntuación del coseno, más parecidos se considerarán los dos documentos. La similitud de coseno se representa mediante esta fórmula, donde a y b significan dos vectores de documento:⁷

Hay muchos casos de uso para los modelos temáticos, desde la crítica literaria⁸ hasta la bioinformática ⁹ y la detección del discurso de odio en las redes sociales^10. Al igual que con muchas tareas de PLN, una proporción significativa de la investigación sobre modelado de temas a lo largo de los años se refiere al inglés y a otros idiomas de escritura latina. Sin embargo, más recientemente, la investigación ha explorado enfoques de modelado de temas para el árabe y otros idiomas no latinos^11. La investigación también se ha centrado en cómo los modelos de lenguaje de gran tamaño (LLM) podrían avanzar y mejorar los modelos temáticos. Por ejemplo, un estudio sostiene que los LLM proporcionan un método automatizado para resolver problemas de larga data en el modelado de temas, a saber, cómo determinar el número adecuado de temas y cómo evaluar los temas generados¹².