O que é geração de linguagem natural (NLG)?

Os sistemas de NLG já estão em uso disseminado em produtos empresariais e de consumo, como ferramentas de business intelligence (BI) e chatbots. Os assistentes de voz se comunicam com os usuários por meio da NLG.

Os líderes de negócios usam a NLG para transformar dados complexos em texto gerado para refinar insights importantes. Sempre que um modelo de IA gera saída em linguagem humana, isso é NLG em ação. 

Os dois principais tipos de NLGs são extrativa e abstrativa: 

• A NLG extrativa extrai palavras e frases exatas diretamente do texto de origem. Ela é usado em casos em que uma terminologia específica é crítica, como em documentos jurídicos. Comparada à NLG abstrativa, a NLG extrativa é mais simples porque copia documentos de origem em vez de produzir conteúdo novo. 

• A NLG abstrativa cria saídas inovadoras com base em documentos de origem, parafraseando e gerando novo conteúdo. É um processo mais complexo, que requer modelos mais avançados, como transformadores. Enquanto a NLG extrativa é preferido em ambientes técnicos, a NLG abstrativa brilha em aplicações mais criativas.

A NLG funciona progredindo em um processo multiestágios para refinar entradas de dados estruturados e não estruturados e gerar saídas de linguagem natural. Conforme descrito pelo cientista da computação Ehud Reiter,¹ os estágios do processo típico de NLG são: 

• Análise de sinais: o sistema de NLG determina quais entradas são necessárias para a saída final. No estágio de análise de sinais ou dados, o reconhecimento de padrões identifica o assunto do conteúdo e as relações entre os tópicos. Os dados de entrada incluem prompts, conteúdo do banco de dados e conteúdo de linguagem não estruturada, como PDFs, documentos e gravações de linguagem falada. O reconhecimento de entidades ajuda os sistemas de PNL a entender o que está sendo discutido. 

• Interpretação de dados: os modelos de NLP geram insights a partir dos resultados do estágio de análise de dados. Se os dados já estiverem pré-processados com os insights disponíveis, essa etapa será ignorada. Os sistemas de NLP identificam partes do discurso e usam a NLU para avaliar a sintaxe e a semântica, criando compreensão do significado. 

• Planejamento de documentos: esta etapa identifica quais informações comunicar e como formatá-las. O sistema de NLG determina sua abordagem para a saída final, dependendo dos dados disponíveis e do prompt do usuário. 

• Microplanejamento: após definir o conteúdo e o formato, o sistema de NLG planeja a estrutura das frases e dos parágrafos para gerara saída final. 

• Realização superficial: o sistema de NLG coloca seu plano em ação e gera saídas em linguagem natural de acordo com os resultados das etapas anteriores. 

A NLG faz parte da disciplina de ciência da computação de processamento de linguagem natural (NLP): o uso de modelos de aprendizado de máquina (ML) para entender e trabalhar com a linguagem humana.

A NLG é a parte da NLP que se preocupa com a geração de conteúdo, especificamente com a produção de romances escritos ou falados. Por exemplo, chatbots de IA conversacional usam a NLG para responder às entradas do usuário em tempo real. 

A NLP converte entradas de linguagem natural em dados, e a NLG usa dados para gerar saídas de linguagem natural. 

A NLP faz parte do campo da linguística computacional: o estudo de como os computadores analisam e entendem a linguagem humana. NLP é linguística computacional na prática.

O avanço do deep learning e dos grandes modelos de linguagem (LLMs) impulsionou o desenvolvimento de aplicações de IA generativa voltadas para a criação de conteúdo.

A natural language understanding (NLU) é outro subcampo do processamento de linguagem natural (NLP). Em vez de focar no significado gramatical e linguístico, a NLU busca entender a linguagem humana de forma abrangente. Ela utiliza análise semântica e sintática para compreender, de maneira completa e contextual, entradas de linguagem natural, incluindo emoção, sentimento e intenção. 

A NLU permite que computadores compreendam entradas em linguagem natural de maneira mais próxima à forma como os humanos interpretam. Quando as pessoas conversam, elas captam mais do que o simples significado das palavras; entendem naturalmente o sentido mais profundo por trás da fala literal. 

Quando uma aplicação de software oferece opções de texto preditivo, ela usa a NLU para entender a intenção do usuário e, em seguida, aplica a NLG para terminar a frase. NLP, NLU e NLG trabalham juntas para ajudar os computadores a se comunicarem com os usuários.

Muitos sistemas de NLG usam modelos avançados de IA, como transformadores, para criar novos textos a partir de dados de treinamento e entradas do usuário.

Entretanto, antes que esses modelos fossem desenvolvidos, a NLG era possível por outros meios. Os modelos e técnicas de NLG incluem: 

• Modelos

• Sistemas baseados em regras 

• Algoritmos estatísticos de aprendizado de máquina

• Modelos dedeep learning 

• Transformadores

Sistemas baseados em modelos utilizam modelos de frases predefinidas com variáveis para dados de entrada. Esses modelos representam uma das formas mais antigas e simples de NLG, adequados para contextos em que a estrutura de frases e documentos se mantém consistente. Contudo, sistemas baseados em templates não conseguem se adaptar fora dos casos de uso previamente definidos. 

Um exemplo de modelo pode ser: em [mês],[ano], nossa loja em [localização] vendeu [quantidade] unidades de [item].

Embora esse modelo seja excelente em relatórios de vendas com base na localização, não é possível aplicá-lo para gerar uma receita culinária.

Sistemas baseados em regras geram texto de acordo com uma série de regras e lógicas predefinidas. Os primeiros sistemas baseados em regras foram criados para espelhar a maneira como os especialistas de domínio falavam ou escreviam. Os programadores entrevistavam especialistas e, em seguida, criavam regras correspondentes para a geração de texto. 

Sistemas “if-then” são um exemplo comum de programação baseada em regras. Por exemplo, um software de NLG para previsões do tempo pode ser programado para descrever o clima como “abaixo do congelamento” se a temperatura estiver abaixo de 32 graus Fahrenheit ou 0 grau Celsius.

Algoritmos estatísticos de aprendizado de máquina, como cadeias de Markov ocultas, identificam padrões em grandes conjuntos de dados para fazer previsões e tomar decisões com novos dados.

Eles geram novas instâncias com base na instância atual. Para a NLG, as cadeias de Markov e outros modelos estatísticos geram palavras que provavelmente seguirão umas das outras. 

Modelos estatísticos oferecem mais flexibilidade do que modelos e sistemas baseados em regras, mas exigem grandes volumes de dados para treinamento.

Os modelos de deep learning são um avanço na tecnologia de IA em relação aos algoritmos estatísticos e podem gerar textos de aparência mais natural. Redes neurais recorrentes (RNNs) são um exemplo de modelos de deep learning aplicados à NLG.

RNNs processam dados sequenciais, como palavras em uma frase, e podem transferir conhecimento, como com tradução automática.

A arquitetura do modelo de transformação alimenta algumas das tecnologias de NLG mais eficazes disponíveis. Modelos baseados em transformadores, como GPT e BERT, usam mecanismos de autoatenção para capturar dependências de longo alcance em sequências de entrada para maior compreensão contextual.

ChatGPT, Claude e outros chatbots impulsionados por transformadores podem gerar saídas realistas de linguagem humana.

A NLG pode ser encontrada em todo o cenário da IA generativa, onde quer que a IA seja usada para se comunicar diretamente com seres humanos em linguagem natural. Da Siri à análise de sentimento, os casos de uso da NLG incluem: 

• Assistentes de voz: Siri, Alexa e outros assistentes de voz usam a NLG para responder às solicitações dos usuários com linguagem falada. Eles também usam NLP e NLU para reconhecimento de fala para entender o que os usuários desejam. 

• Assistentes virtuais: chatbots e assistentes virtuais usam a NLG para automatizar interações com clientes. Muitas organizações usam assistentes virtuais para atender às consultas iniciais de atendimento ao cliente antes de escalar para representantes humanos, quando necessário. Os agentes virtuais também se comunicam com os usuários por meio da NLG.

• Tradução automática: a tradução automática é o uso de modelos de aprendizado de máquina para traduzir automaticamente entre idiomas. Os sistemas de NLG lidam com a geração de saídas e simplificam o demorado processo de tradução. Tradutores humanos e especialistas em localização podem, então, verificar e editar as saídas conforme a necessidade. 

• Resumos de dados e geração de relatórios: os sistemas de NLG convertem dados complexos em resumos e esboços facilmente compreensíveis. A simplificação da agregação e da sumarização de artigos e relatórios torna o forecasting mais eficiente. Os líderes de negócios usam ferramentas de BI impulsionadas por NLG para a tomada de decisão baseada em dados. Outras empresas usam IA e NLG para criar esse conteúdo para seus clientes. 

• Geração de conteúdo: sempre que um modelo de IA generativa produz conteúdo de linguagem natural, isso é NLG em ação. As empresas podem optar por usar a NLG para automatizar descrições de produtos, campanhas de marketing por e-mail, postagens em redes sociais e outros tipos de conteúdo de forma curta. 

• Análise de sentimento: os sistemas de NLG criam resumos de textos e relatórios com base no feedback e nas comunicações da audiência. As empresas podem extrair conteúdo gerado pelos usuários de avaliações de produtos, plataformas de redes sociais, postagens em fóruns e outros locais on-line e, em seguida, usar a NLP e a NLG para identificar como os usuários se sentem.