O que é modelagem de tópicos?

No processamento de linguagem natural (NLP), a modelagem de tópicos é uma técnica de mineração de texto que aplica o aprendizado não supervisionado em grandes conjuntos de textos para produzir um conjunto resumido de termos derivados desses documentos que representam o conjunto primário geral de tópicos da coleção.¹ Os modelos de tópicos identificam especificamente palavras-chave ou frases comuns em um conjunto de dados de texto e agrupam essas palavras em vários tópicos. Os modelos de tópicos, portanto, visam descobrir os tópicos ou temas latentes que caracterizam um conjunto de documentos. Dessa forma, os modelos de tópicos são uma forma de análise de texto baseada em aprendizado de máquina, usada para anotar tematicamente grandes corpora de texto.²

Os usuários podem gerar prontamente modelos de tópicos usando o Natural Language Toolkit (NLTK) do scikit-learn e o gensim no Python.

Como um método de aprendizado não supervisionado, os modelos de tópicos não exigem rótulos de dados de treinamento gerados pelo usuário, como em tarefas de classificação de texto supervisionadas. Em vez disso, os modelos de tópicos geram e, por extensão, anotam, grandes coleções de documentos com informações temáticas na forma de grupos de palavras conhecidos como tópicos.³ Mas como os modelos de tópicos produzem esses grupos de palavras?

A modelagem de tópicos essencialmente trata cada documento individual em uma coleção de textos como um modelo de bag of words. Isso significa que o algoritmo de modelagem de tópicos ignora a ordem e o contexto das palavras, concentrando-se simplesmente na frequência com que as palavras ocorrem e com que frequência elas ocorrem simultaneamente em cada documento individual.⁴

A maioria das abordagens de modelagem de tópicos começa pela geração de uma matriz de termos e documentos. Essa matriz modela o conjunto de dados de texto com documentos como linhas e palavras individuais como colunas, ou vice-versa. Os valores na matriz indicam a frequência com que uma determinada palavra aparece em cada documento. Então, essa matriz pode ser usada para gerar um espaço vetorial, onde n palavras são iguais a n dimensões. O valor de uma determinada linha indica a posição desse documento no espaço vetorial. Portanto, documentos que usam palavras em grupos semelhantes e com frequência comparável ficarão mais próximos no espaço vetorial. A partir daí, os modelos de tópicos tratam a proximidade no espaço vetorial como documentos que compartilham conteúdos ou tópicos conceituais semelhantes.⁵

No entanto, modelos de tópicos não são sinônimo de bag of words. Enquanto este último apenas contabiliza a presença de palavras em uma coleção de documentos, os modelos de tópicos agrupam palavras que ocorrem simultaneamente e de forma comum em conjuntos de tópicos. Cada tópico é modelado como uma distribuição de probabilidade em um vocabulário de palavras. Então, cada documento da coleção é representado nos termos desses tópicos.⁶ Dessa forma, os modelos de tópicos basicamente tentam fazer engenharia reversa dos discursos (ou seja, tópicos) que produziram os documentos em questão.⁷

Os algoritmos de modelagem de tópicos se parecem menos com métodos alternativos para uma tarefa do que desenvolvimentos sequenciais destinados a resolver problemas inicialmente encontrados nos modelos de bag of words. A frequência do termo-inverso da frequência nos documentos(TF-IDF) é uma modificação de um bag of words destinada a lidar com os problemas resultantes de palavras comuns, mas semanticamente irrelevantes, ao contabilizar a prevalência de cada palavra em todos os documentos em um conjunto de texto. A análise semântica latente se baseia no TF-IDF com a intenção principal de abordar a polissemia e a sinonímia. Isso deu origem à análise semântica latente probabilística, da qual surgiu a alocação latente de Dirichlet. A característica diferenciadora desta última é que todos os documentos de uma coleção compartilham o mesmo conjunto de tópicos, embora em proporções diferentes.⁸

A análise semântica latente (LSA) (também chamada de indexação semântica latente) utiliza uma técnica conhecida como decomposição de valor singular para reduzir a escassez na matriz documento-termo. Isso alivia problemas resultantes de polissemia e sinonímia, ou seja, palavras únicas com múltiplos significados ou múltiplas palavras com um único significado compartilhado.

A dispersão de dados denota essencialmente quando a maioria dos valores de dados em um determinado conjunto de dados é nula (ou seja, vazia). Isso acontece regularmente ao criar matrizes documento-termo, para as quais cada palavra individual é uma linha separada e uma dimensão de espaço vetorial, pois os documentos normalmente não terão a maioria das palavras que podem ser mais frequentes em outros documentos. É claro que técnicas de pré-processamento de dados de texto, como remoção de palavras de parada ou stemming e lematização, podem ajudar a reduzir o tamanho da matriz. A LSA oferece uma abordagem mais direcionada para reduzir a dispersão e a dimensionalidade.

A LSA começa com a matriz documento-termo, que exibe o número de vezes que cada palavra aparece em cada documento. A partir daí, a LSA produz uma matriz documento-documento e uma matriz termo-termo. Se as dimensões da matriz documento-termo forem definidas como d documentos vezes w palavras, então a matriz documento-documento será d vezes d e a matriz termo-termo será w vezes w. Cada valor na matriz documento-documento indica o número de palavras que cada documento tem em comum. Cada valor na matriz termo-termo indica o número de documentos em que dois termos coocorrem.⁹

Usando essas duas matrizes adicionais, o algoritmo LSA conduz a decomposição do valor singular na matriz documento-termo inicial, produzindo novas matrizes especiais de autovetores. Essas matrizes especiais decompõem as relações originais entre documentos e termos em fatores linearmente independentes. Como muitos desses fatores são próximos de zero, eles são tratados como zero e eliminados das matrizes. Isso reduz as dimensões do modelo.¹⁰

Depois que as dimensões do modelo tiverem sido reduzidas por meio da decomposição em valores singulares, o algoritmo LSA compara os documentos no espaço de dimensão inferior usando similaridade de cosseno. Similaridade de cosseno é a medição do ângulo entre dois vetores no espaço vetorial. Pode ser qualquer valor entre -1 e 1. Quanto maior o valor do cosseno, mais semelhantes são considerados dois documentos. A similaridade de cosseno é representada por esta fórmula, em que x e y significam dois itens-vetores no espaço vetorial:¹¹

A alocação latente de Dirichlet (LDA) (que não deve ser confundida com análise discriminante linear ) é um algoritmo probabilístico de modelagem de tópicos. Isso significa que ela gera tópicos, classificando palavras e documentos entre esses tópicos, de acordo com a distribuição das probabilidades. Com a matriz documento-termo, o algoritmo LDA gera distribuições de tópicos (isto é, listas de palavras-chave com suas respectivas probabilidades) de acordo com a frequência de palavras e as coocorrências. Essa suposição é que as palavras que ocorrem juntas provavelmente fazem parte de tópicos semelhantes. O algoritmo atribui distribuições entre documentos e tópicos com base nos agrupamentos de palavras que aparecem no documento em questão.¹²

Por exemplo, digamos que geramos um modelo LDA para uma coleção de artigos de notícias com o seguinte resultado parcial:

Aqui, temos dois tópicos que provavelmente podem ser descritos como imigração (Tópico 1) e astronomia (Tópico 2). As pontuações associadas a cada palavra são a probabilidade dessa palavra-chave aparecer em um determinado tópico. As probabilidades anexadas a cada documento são as respectivas probabilidades desse documento de pertencer a uma mistura de tópicos, dada a distribuição e a coocorrência de palavras de cada tópico dentro desse documento. Por exemplo, a primeira linha da tabela lista a borda no Tópico 1 com 40% de probabilidade e o espaço no Tópico 2 com 60% de probabilidade. Essas porcentagens indicam a probabilidade de seus respectivos termos ocorrerem nesse tópico em todo o corpus. A primeira linha do documento diz Documento 1: Tópico 1: .95, Tópico 2: .05. Isso significa que, com base na ocorrência de palavras no Documento 1, o modelo projeta o Documento 1 como sendo 95% derivado do Tópico 1 e 5% derivado do Tópico 2. Em outras palavras, nosso modelo hipotético de LDA assume que esses são os tópicos e as proporções desses tópicos utilizados para gerar o modelo.

É claro que as palavras polissêmicas em particular criam problemas para categorizações tão discretas — por exemplo, alien, do inglês pode se referir tanto a um imigrante humano ou a uma criatura extraterrestre. Se o nosso algoritmo encontrar alien em um documento, como ele determina a qual tópico a palavra (e, por extensão, o documento) pertence?

Atribuindo tópicos às palavras, o algoritmo LDA usa o que é conhecido como amostragem de Gibbs. A fórmula de amostragem de Gibbs é:

Compreender as operações exatas e os hiperparâmetros dessa equação requer conhecimento fundamental em estatística e técnicas de Monte Carlo da cadeia de Markov (esta última frequentemente empregada no aprendizado por reforço). No entanto, podemos resumir os principais componentes da equação:

• A primeira razão expressa a probabilidade do tópico t no documento d. O algoritmo calcula essa probabilidade de acordo com o número de palavras no documento d que pertencem ao tópico t. Isso essencialmente pergunta: quão prevalente é o tópico t no documento d?
• A segunda proporção expressa a probabilidade da palavra w pertencer ao tópico t. O algoritmo calcula essa probabilidade enumerando as ocorrências de w in t sobre todos os tokens de palavra em t. Isso pergunta: com que frequência a palavra w aparece no tópico t em todo o resto do corpus?

Observe que a amostragem de Gibbs é um processo iterativo. Ou seja, uma palavra não é amostrada uma vez, atribuída a um tópico e jogada de lado. Em vez disso, a amostragem de Gibbs passa cada palavra por várias iterações, atualizando as probabilidades entre tópicos e palavras em relação uns aos outros.¹³

Existem muitos casos de uso para modelos de tópicos, desde crítica literária¹⁴ até bioinformática¹⁵ e detecção de discurso de ódio nas redes sociais.¹⁶ Tal como acontece com muitas tarefas de NLP, uma proporção significativa das pesquisas de modelagem de tópicos ao longo dos anos diz respeito ao inglês e outras línguas de escrita latina. Mais recentemente, no entanto, pesquisas exploraram abordagens de modelagem de tópicos para o árabe e outras línguas não latinas.¹⁷

As pesquisas em andamento também abordam métricas de avaliação de modelos de tópicos. Na verdade, não há uma métrica usada para avaliar modelos de tópicos. As métricas de avaliação do passado adotavam abordagens qualitativas e quantitativas. A primeira requer um conhecimento significativo específico do domínio para avaliar os principais termos do modo de tópicos quanto à interpretabilidade.¹⁸ As medidas quantitativas consistem em pontuações de log-verossimilhança e coerência, que visam medir a probabilidade e a coesão dos tópicos em um modelo.¹⁹ No entanto, um grande número de pesquisas argumenta que essas métricas quantitativas podem não ser confiáveis.²⁰

Na tentativa de resolver questões relacionadas à avaliação de modelos de tópicos, um estudo investigou aplicações de inteligência artificial, particularmente grandes modelos de linguagem (LLMs), como um meio de criar e avaliar modelos LDA para objetivos específicos de pesquisa. Os LLMs, argumenta o estudo, podem ajudar a resolver problemas de longa data na modelagem de tópicos, ou seja, como determinar e avaliar o número apropriado de tópicos.²¹ Outros estudos também se voltam para as aplicações de LLMs como um meio de lidar com a lacuna de avaliação na modelagem de tópicos.²²