O que é análise semântica latente?

A LSA é uma das duas principais técnicas de modelagem de tópicos, sendo a outra alocação de Dirichlet latente (LDA). A modelagem de tópicos é uma técnica de processamento de linguagem natural (NLP) que aplica aprendizado não supervisionado em grandes conjuntos de dados de texto para produzir um conjunto de termos resumidos derivados desses documentos. Esses termos representam o conjunto principal geral de tópicos da coleção. Os modelos de tópicos, portanto, visam descobrir os tópicos ou temas latentes que caracterizam um conjunto de documentos.

Os usuários podem gerar modelos de tópicos de LSA usando o toolkit de linguagem natural (NLTK) do scikit-learn (geralmente chamado de sklearn) e o gensim no Python. Os pacotes topic models e lda no R também contêm funções para gerar modelos de tópicos de LDA.

A análise semântica latente está associada à indexação semântica latente (LSI), que é uma técnica de recuperação de informações. Em sistemas de recuperação de informações, a LSI utiliza o mesmo procedimento matemático subjacente à LSA para mapear consultas de usuários para documentos com base na coocorrência de palavras. Se um usuário consultar um sistema para waltz e foxtrot, ele pode estar interessado em documentos que não contêm nenhum desses termos, mas contêm termos que frequentemente coocorrem com seus termos de consulta. Por exemplo,tango e bolero podem frequentemente coocorrer com os termos de consulta e devem indicar documentos sobre o mesmo tópico. A LSI indexa documentos de acordo com grupos de palavras semânticas latentes, que consistem em palavras comumente coocorrentes. Dessa forma, pode melhorar os resultados dos mecanismos de pesquisa. A LSA aplica o mesmo procedimento matemático que a LSI para capturar a estrutura semântica oculta subjacente a grandes coleções de documentos.²

A LSA começa com a matriz documento-termo ou, às vezes, uma matriz termo-documento. Exibe o número de ocorrências de cada palavra em todos os documentos. No Python (para dar um exemplo), os usuários podem construir essas matrizes usando um dataframe do pandas. Aqui está um exemplo de matriz documento-termos usando as três cadeias de caracteres como documentos individuais:

d1: My love is like red, red roses

d2: Roses are red, violets are blue

d3: Moses supposes his toes-es are roses

Esta matriz mostra a frequência de cada palavra em todos os três documentos após a tokenização e a remoção de palavras irrelevantes. Cada coluna corresponde a um documento, enquanto cada linha corresponde a uma palavra específica encontrada em todo o corpus de texto. Os valores na matriz significam o número de vezes que um determinado termo aparece em um determinado documento. Se o termo w ocorrer n vezes dentro do documento d, então [w,d] = n. Assim, por exemplo, o documento 1 usa "red" duas vezes, e portanto [red, d1] = 2.

A partir da matriz documento-term, a LSA produz uma matriz documento-documento e uma matriz termo-termo. Se as dimensões da matriz documento-termo forem definidas como d documentos vezes w palavras, então a matriz documento-documento será d vezes d, e a matriz termo-termo será w vezes w. Cada valor na matriz documento-documento indica o número de palavras que cada documento tem em comum. Cada valor na matriz termo-termo indica o número de documentos em que dois termos coocorrem.⁹

A escassez de dados, que leva ao overfitting do modelo, ocorre quando a maioria dos valores de dados em um determinado conjunto de dados é nula (ou seja, vazia). Isso acontece regularmente ao construir matrizes de termos de documentos, para as quais cada palavra individual é uma linha separada e uma dimensão de espaço vetorial, pois um documento normalmente não terá a maioria das palavras que são mais frequentes em outros documentos. De fato, o exemplo de matriz documento-termo aqui usado contém vários usos para palavras como Moses, violets e blue que aparecem em apenas um documento. É claro que técnicas de pré-processamento de texto, como remoção de palavras irrelevantes, stemming e lematização, can ajudam a reduzir a escassez. No entanto, a LSA oferece uma abordagem mais direcionada.

A LSA implementa uma técnica de redução de dimensionalidade conhecida como decomposição de valor singular (SVD) para reduzir a escassez na matriz documento-termo. A SVD alimenta muitas outras abordagens de redução de dimensão, como a análise de componentes principais. A SVD ajuda a aliviar problemas resultantes de polissemia, palavras únicas que têm múltiplos significados, e sinônimas, palavras diferentes com  significado semelhante.

Usando as matrizes calculadas a partir dos termos entre matrizes documento-documento e termo-termo, o algoritmo da LSA executa a SVD na matriz inicial termo-documento. Isso produz novas matrizes especiais de autovetores que decompõem as relações originais termo-documento em fatores linearmente independentes. A mais importante delas é a matriz diagonal de valores singulares, produzida a partir das raízes quadradas dos valores próprios da matriz documento-documento. Nesta matriz diagonal, geralmente representada como Σ, os valores são sempre positivos e dispostos em ordem decrescente na diagonal da matriz:

Conforme mostrado neste exemplo de matriz Σ, muitos dos valores mais baixos estão próximos de zero. O desenvolvedor determina um valor de corte apropriado para sua situação e reduz todos os valores singulares em Σ abaixo desse limite para zero. Isso significa efetivamente remover todas as linhas e colunas totalmente ocupadas por zeros. Por sua vez, removemos linhas e colunas de nossas outras matrizes originais, até que elas tenham o mesmo número de linhas e colunas que Σ. Isso reduz as dimensões do modelo.⁴

Depois que as dimensões do modelo forem reduzidas por meio da SVD, o algoritmo da LSA compara os documentos em um espaço semântico de dimensão inferior usando similaridade de cosseno. O primeiro passo nesta etapa de comparação envolve o mapeamento de documentos em um espaço vetorial. Aqui, a LSA trata os textos como um modelo de bag of words. O algoritmo traça cada texto do corpus ou corpora como vetor de documento, com palavras individuais da matriz reduzida como as dimensões desse vetor. A plotagem ignora a ordem e o contexto das palavras, concentrando-se, em vez disso, na frequência com que as palavras ocorrem e com que frequência elas coocorrem nos documentos.⁵

Com modelos padrão de bag of words, palavras semanticamente irrelevantes (por exemplo, palavras como the e some,e outras palavras semelhantes) podem ter a frequência de termos mais alta e, portanto, maior peso em um modelo. Frequência de termos-frequência inversa de documentos (TF-IDF) é uma técnica para corrigir isso. Ela faz isso contabilizando a predominância de uma palavra em cada documento em um conjunto de texto e ponderando as palavras em cada documento de acordo com a predominância da palavra em todo o corpus.⁶

Depois que os documentos são plotados no espaço vetorial, o algoritmo da LSA usa a métrica de similaridade de cosseno para compará-los. A similaridade de cosseno significa a medida do ângulo entre dois vetores no espaço vetorial. Pode ser qualquer valor entre -1 e 1. Quanto maior a pontuação de cosseno, mais semelhantes os dois documentos são considerados. A similaridade de cosseno é representada por esta fórmula, onde a e b significam dois vetores de documento:⁷

Há muitos casos de uso para modelos de tópicos, desde crítica literária⁸ até bioinformática⁹ e detecção de discurso de ódio nas redes sociais.¹⁰ Como acontece com muitas tarefas de NLP, uma proporção significativa da pesquisa de modelagem de tópicos ao longo dos anos diz respeito ao inglês e outros idiomas de escrita latina. Mais recentemente, no entanto, a pesquisa explorou abordagens de modelagem de tópicos para árabe e outras línguas não latinas.¹¹ A pesquisa também se voltou para a forma como os grandes modelos de linguagem (LLMs) podem avançar e melhorar os modelos de tópicos. Por exemplo, um estudo argumenta que os LLMs fornecem um método automatizado para resolver problemas de longa data na modelagem de tópicos, nomeadamente como determinar o número apropriado de tópicos e como avaliar os tópicos gerados.¹²