O que é natural language understanding (NLU)?

A NLU permite que as organizações destilem insights de dados não estruturados, como linguagem falada ou entradas escritas em linguagem natural. Por meio da NLU, os computadores também podem se comunicar com usuários não treinados sem o uso de linguagens de programação.  

Como a linguagem humana é tão rica em nuances, complexa e cheia de ambiguidades, a NLU é um desafio de aprendizado de máquina exigente para cientistas da computação e engenheiros que trabalham com grandes modelos de linguagem (LLMs). Os sistemas de NLU permitem que os computadores compreendam as complexidades da linguagem escrita e falada — nuances sutis, estruturas de frases complexas, usos de palavras potencialmente confusas, gírias e dialetos e outros.  

Devido ao aumento da IA generativa e seu uso em chatbots de consumo, respostas a perguntas, tradução automática e outras aplicações, a NLU recebe um investimento comercial considerável. Sem a NLU, talvez não existissem chatbots interativos como o ChatGPT — a NLU é o motivo pelo qual os chatbots de IA generativa podem manter uma conversa com os usuários que pareça realista e natural.

A NLU é um tipo de processamento de linguagem natural (NLP), o campo mais amplo de permitir que os computadores entendam e se comuniquem em linguagem humana. Além do foco da NLU na compreensão do significado, as tarefas do NLP abrangem o mapeamento de elementos linguísticos, como sintaxe, definições de palavras e partes do discurso. 

Antes do desenvolvimento do NLP, os usuários se comunicavam com computadores por meio de linguagens de programação como Python e C++. Embora a programação ainda use linguagens de programação, as aplicações de software no-code permitem que os usuários instruam diretamente os computadores com linguagem natural. 

O NLP surgiu do campo da ciência da computação da linguística computacional, que usa computadores para analisar a linguagem. A introdução de algoritmos de aprendizado de máquina e modelos de deep learning permitiu que os computadores realizassem tarefas relacionadas à linguagem, como reconhecimento de fala e geração de conteúdo. 

A geração de linguagem natural (NLG) é como os computadores geram automaticamente conteúdo em linguagem humana, por exemplo, quando um chatbot entrega um resumo de texto ou mantém uma conversa com um usuário. A NLG é normalmente emparelhada com a NLU. Um modelo de deep learning recebe uma entrada de linguagem natural, converte-a em dados utilizáveis com a NLP, incluindo NLU, e gera uma resposta com NLG que o usuário pode entender. 

NLP, NLG e NLU estão todos relacionados, com o NLP como a disciplina abrangente que contém os dois últimos. O NLG é o que permite que chatbots como o ChatGPT, bots de suporte ao cliente contemporâneos e assistentes de voz, como o Alexa da Amazon, pareçam humanos ao interagir com os usuários.

A natural language understanding funciona usando aprendizado de máquina para transformar a fala não estruturada ou a linguagem escrita em um modelo de dados estruturado que representa seu conteúdo e significado. Os sistemas de NLU aplicam análise sintática para entender as palavras em uma frase e análise semântica para processar o significado do que está sendo dito. 

Técnicas de aprendizado supervisionado para algoritmos de NLU envolvem alimentar os dados de treinamento rotulados do algoritmo. Esse método orienta explicitamente o algoritmo para entender as nuances linguísticas — por exemplo, se estiver usando a média homônima em um contexto estatístico em vez de uma avaliação de personalidade. 

Técnicas de aprendizado não supervisionado mostram algoritmos a enormes conjuntos de dados não rotulados com o objetivo de fazer com que o algoritmo descubra as relações e padrões subjacentes. Os modelos de NLU contemporâneos são normalmente treinados com uma combinação de métodos supervisionados e não supervisionados. 

Os principais mecanismos que tornam a NLU possível incluem: 

• Tokenização e embedding

• Reconhecimento de entidade mencionada (NER)

• Reconhecimento de intenção

A tokenização na NLU é o uso de algoritmos de aprendizado de máquina para segmentar texto não estruturado em partes menores que podem ser analisadas ainda mais. Cada segmento resultante é conhecido como um token. Os algoritmos de embedding convertem cada token em uma representação numérica que é, então, plotada em um espaço vetorial tridimensional para mapear as relações entre os tokens. 

A NLU contemporânea normalmente usa modelos baseados em transformadores, como o GPT, porque eles se destacam na captura de dependências entre os tokens. Dependências são relações de longo alcance entre tokens distantes em uma sequência. A captura correta das dependências permite que os computadores mantenham a compreensão contextual em longas sequências de entradas.

O named entity recognition (NER) é uma técnica de extração de informações que identifica e classifica entidades nomeadas, ou objetos do mundo real, em dados de texto. As entidades nomeadas podem ser físicas, como pessoas, lugares e itens, ou abstratas, como uma data ou a idade e o número de telefone de uma pessoa.

O reconhecimento de intenção diz a um algoritmo da NLU o que um usuário quer fazer. Os mecanismos de pesquisa usam o reconhecimento de intenção para fornecer resultados relevantes para a consulta correspondente não apenas em termos factuais, mas que dão ao usuário as informações desejadas. 

Por exemplo, uma pesquisa por "frango tikka masala" provavelmente produzirá uma lista de receitas. Mas, e se o usuário digitar “frango tikka masala perto de mim?” O reconhecimento de intenção diz ao mecanismo de busca que o usuário não quer preparar o frango tikka masala, mas sim desfrutar do prato em um restaurante local.

As aplicações de NLU abrangem uma ampla gama de casos de uso em que é necessário que os computadores se comuniquem diretamente com seres humanos ou processem dados em linguagem humana. Os casos de uso de natural language understanding incluem: 

• Análise de sentimento

• Intenção do usuário 

• Tradução automática 

• Suporte ao cliente

• Reconhecimento de fala 

• Classificação de texto

• Agentes virtuais

A análise de sentimento é a aplicação de modelos de aprendizado de máquina para identificar humor e emoção em um conteúdo. Por exemplo, os pesquisadores podem usar a análise de sentimento em publicações de redes sociais e avaliações de usuários para identificar como os usuários se sentem em relação a uma marca. As informações que aprendem podem ser aplicadas no desenvolvimento de produtos futuros, ajustes de preços e outras mudanças. 

Os mecanismos de pesquisa usam a NLU para fornecer respostas mais relevantes. O mesmo princípio se aplica a sites com funções de pesquisa. Por exemplo, um site de comércio eletrônico pode aumentar as vendas mostrando os itens mais relevantes em resposta às pesquisas dos usuários. A otimização dos resultados de pesquisa provavelmente resultará em mais usuários continuando a usar o mecanismo de pesquisa ou fazendo uma compra.

Tradução automática é o uso de computadores para realizar a tradução automatizada de idiomas. Por exemplo, imagine uma aplicação móvel que traduza entre inglês e espanhol falados em tempo real. Um usuário que fala espanhol pode usar esse aplicativo para conversar com falantes de inglês e, ao mesmo tempo, entender qualquer coisa que seja dita em inglês ao seu redor. 

Os chatbots de suporte ao cliente ficam mais sofisticados à medida que a IA generativa melhora. A NLU permite que os chatbots se envolvam em conversas humanas com os usuários, e as organizações os têm implementado cada vez mais para atender às consultas de atendimento ao cliente e responder a perguntas comuns. Enquanto isso, o pessoal humano completa a interface da experiência do cliente, lidando com questões muito complexas para a IA resolver. 

O uso de chatbots de suporte ao cliente é um exemplo de como os avanços na IA, incluindo a NLU, simplificaram os fluxos de trabalho e levaram a uma maior automação dos fluxos de trabalho.

Os sistemas de NLU ajudam os usuários a se comunicar verbalmente com software, como os sistemas de roteamento automatizado que se encontram ao ligar para grandes corporações. Em vez de pressionar 0 várias vezes até que o sistema passe a chamada para um ser humano, as pessoas que ligam podem dizer: "falar com um ser humano". Com a NLU em ação, o software pode converter a solicitação falada do usuário em dados estruturados em tempo real e transferir a chamada. 

As organizações começaram a implementar agentes virtuais como parte de uma maior experiência do cliente. Esses modelos podem interagir diretamente com os usuários (usando NLU e NLG para facilitar a interação) e agir em nome de usuários e organizações. Assistentes virtuais como Alexa e Siri também usam a NLU para atender às solicitações dos usuários.