Criando um experimento de análise de texto
Use o recurso de análise de texto d AutoAI's para realizar a análise de texto de seus experimentos. Por exemplo, execute uma análise básica de sentimentos para prever um resultado baseado em comentários de texto.
Visão geral de análise de texto
Quando você cria um experimento que usa o recurso de análise de texto, o processo de AutoAI usa o algoritmo word2vec para transformar o texto em vetores e, em seguida, compara esses vetores a fim de estabelecer o impacto na coluna de previsão.
O algoritmo word2vec utiliza um corpus de texto como entrada e gera um conjunto de vetores. Ao transformar texto em representação numérica, ele pode detectar e comparar palavras semelhantes. Quando treinado com dados suficientes, word2vec pode fazer previsões precisas sobre o significado de uma palavra ou o relacionamento com outras. As predições podem ser usadas para analisar texto e adivinhar seu significado em aplicativos de análise de sentimentos.
Durante a fase de engenharia de características do treinamento do experimento, são geradas 20 características para a coluna de texto, utilizando o word2vec algoritmo. A detecção automática de recursos de texto é baseada na análise do número de valores exclusivos em uma coluna e no número de tokens em um registro (número mínimo = 3). Se o número de valores exclusivos for menor que o número de todos os valores dividido por 5, a coluna não será tratada como um texto.
Quando o experimento é concluído, é possível revisar os resultados da engenharia de recurso na página de detalhes do pipeline. Também é possível salvar um pipeline como um notebook a fim de revisar as transformações e exibir uma visualização das transformações.
Exemplo: analisando comentários do cliente
Neste exemplo, os comentários de uma empresa fictícia de aluguel de carros são usados para treinar um modelo que prevê uma nota de satisfação quando um novo comentário é inserido.
Assista a este vídeo curto para ver um exemplo e, em seguida, consulte mais detalhes sobre o recurso de texto abaixo do vídeo.
Este vídeo oferece uma maneira visual de aprender os conceitos e tarefas apresentados nesta documentação.
Dado um conjunto de dados que contém uma coluna com comentários de avaliações sobre a experiência de aluguel (Customer_service) e uma coluna com uma classificação binária de satisfação (Satisfaction), em que 0 representa um comentário negativo e 1 representa um comentário positivo, o modelo é treinado para prever a classificação de satisfação quando um novo feedback é inserido.
Treinando um experimento de transformação de texto
Depois de carregar o conjunto de dados e especificar a coluna de previsão (Satisfação), as configurações do Experimento selecionam a opção “Usar engenharia de características de texto ”.
Observe alguns dos detalhes para realizar o ajuste do experimento de análise de texto:
- É possível aceitar a seleção padrão automática das colunas de texto ou praticar o exercício do controle especificando manualmente as colunas para a engenharia de recursos de texto.
- À medida que o experimento é executado, são geradas 20 características por padrão para a coluna de texto, utilizando o
word2vecalgoritmo. É possível editar esse valor para aumentar ou diminuir o número de recursos. Quanto mais vetores você gerar, mais preciso será o seu modelo, mas mais tempo levará o treinamento. - As demais opções se aplicam a todos os tipos de experimentos, permitindo que você ajuste com precisão como lidar com os dados finais de treinamento.
Execute o experimento para visualizar as transformações em andamento.
Selecione o nome de um pipeline e clique em "Resumo das funcionalidades" para analisar as transformações de texto.
Também é possível salvar o pipeline de experimento como um bloco de notas e revisar as transformações como uma visualização.
Implementando e pontuando um modelo de transformação de texto
Ao avaliar este modelo, insira novos comentários para obter uma previsão com um índice de confiança sobre se o comentário resultará em uma classificação de satisfação positiva ou negativa.
Por exemplo, inserir o comentário "Demoramos quase três horas para encontrar um carro. "Isso foi absurdo", prevê um índice de satisfação de 0 com um nível de confiança de 95%.
