¿Qué es la comprensión de lenguaje natural (NLU)?

La NLU permite a las organizaciones extraer insights de datos no estructurados, como el lenguaje hablado o las entradas escritas en lenguaje natural. A través de la NLU, las computadoras también pueden comunicarse con usuarios no capacitados sin el uso de lenguajes de programación.  

Debido a que el lenguaje humano es tan matizado, complejo y lleno de ambigüedades, la NLU es un desafío de machine learning exigente para los científicos e ingenieros informáticos que trabajan con modelos de lenguaje grandes (LLM). Los sistemas de NLU hacen posible que las computadoras capten las complejidades del lenguaje escrito y hablado: matices sutiles, estructuras de oraciones complejas, usos de palabras potencialmente confusos, jerga y dialectos, entre otros.  

Debido al auge de la IA generativa y su uso en chatbots de consumo, respuestas a preguntas, traducción automática y otras aplicaciones, la NLU recibe una inversión comercial considerable. Sin la NLU, es posible que no existan chatbots interactivos como ChatGPT. La NLU es la razón por la que los chatbots de IA generativa pueden mantener una conversación con los usuarios que se sienta realista y natural.

La NLU es un tipo de procesamiento de lenguaje natural (PLN), el campo más amplio de permitir que las computadoras comprendan y se comuniquen en lenguaje humano. Además del enfoque de NLU en la comprensión del significado, las tareas de PLN cubren el mapeo de elementos lingüísticos como la sintaxis, las definiciones de palabras y las partes del discurso. 

Antes del desarrollo del PLN, los usuarios se comunicaban con las computadoras a través de lenguajes de programación como Python y C++. Si bien la programación todavía utiliza lenguajes de programación, las aplicaciones de software sin código permiten a los usuarios instruir directamente a las computadoras con lenguaje natural. 

El PLN surgió del campo de la informática de la lingüística computacional, que utiliza computadoras para analizar el lenguaje. La introducción de algoritmos de machine learning y modelos de aprendizaje profundo permitió a las computadoras realizar tareas relacionadas con el lenguaje, como el reconocimiento de voz y la generación de contenido. 

La generación de lenguaje natural (GLN) es la forma en que las computadoras generan automáticamente contenido en lenguaje humano, como cuando un chatbot entrega un resumen de texto o mantiene una conversación con un usuario. La GLN generalmente se combina con la NLU. Un modelo de aprendizaje profundo recibe una entrada de lenguaje natural, la convierte en datos utilizables con PLN, incluida la NLU, y luego genera una respuesta con GLN que el usuario puede entender. 

El PLN, GLN y NLU están relacionados, y el PLN es la disciplina general que contiene los dos últimos. la GLN es lo que permite que los chatbots como ChatGPT, los bots de atención al cliente contemporáneos y los asistentes de voz como Alexa de Amazon parezcan humanos al interactuar con los usuarios.

La NLU funciona mediante el uso de algoritmos de machine learning para transformar el habla no estructurada o el lenguaje escrito en un modelo de datos estructurado que representa su contenido y significado. Los sistemas de NLU aplican el análisis sintáctico para comprender las palabras de una oración y el análisis semántico para procesar el significado de lo que se dice. 

Las técnicas de aprendizaje supervisado para algoritmos de NLU implican alimentar el algoritmo con datos de entrenamiento etiquetados. Este método guía explícitamente al algoritmo para comprender los matices lingüísticos, por ejemplo, si se utiliza la media homónima en un contexto estadístico en lugar de una evaluación de personalidad. 

Las técnicas de aprendizaje no supervisado muestran algoritmos a conjuntos de datos masivos sin etiquetar con el objetivo de que el algoritmo descubra las relaciones y patrones subyacentes. Los modelos de NLU contemporáneos suelen entrenarse con una combinación de métodos supervisados y no supervisados. 

Los principales mecanismos que hacen posible la NLU incluyen: 

• Tokenización e incorporación

• Named entity recognition (NER) 

• Reconocimiento de intenciones

En la NLU, la tokenización es el uso de algoritmos de machine learning para segmentar texto no estructurado en partes más pequeñas que luego pueden analizarse más a fondo. Cada segmento resultante se conoce como token. Los algoritmos de incorporación convierten cada token en una representación numérica que luego se traza en un espacio vectorial tridimensional para trazar las relaciones entre los tokens. 

La NLU contemporánea suele utilizar modelos basados en transformadores, como GPT, porque se destacan en la captura de dependencias entre tokens. Las dependencias son relaciones de largo alcance entre tokens distantes en una secuencia. La captura correcta de las dependencias permite que las computadoras mantengan la comprensión contextual a través de largas secuencias de entrada.

El reconocimiento de entidades nombradas es una técnica de extracción de información que identifica y clasifica entidades nombradas, u objetos del mundo real, en datos de texto. Las entidades nombradas pueden ser físicas, como personas, lugares y elementos, o abstractas, como una fecha o la edad y número de teléfono de una persona.

El reconocimiento de intenciones le dice a un algoritmo de NLU lo que un usuario quiere hacer. Los motores de búsqueda utilizan el reconocimiento de intenciones para ofrecer resultados que sean relevantes para la consulta correspondiente no solo en términos fácticos, sino que brinden al usuario la información que desea. 

Por ejemplo, una búsqueda de "pollo tikka masala" probablemente arrojará una lista de recetas. Pero, ¿qué sucede si el usuario escribe "pollo tikka masala cerca de mí?" El reconocimiento de intención le dice al motor de búsqueda que el usuario no quiere cocinar pollo tikka masala, sino disfrutar el plato en un restaurante local.

Las aplicaciones de NLU abarcan una amplia gama de casos de uso en los que es necesario que las computadoras se comuniquen directamente con humanos o procesen datos en lenguaje humano. Los casos de uso de NLU incluyen: 

• Análisis de sentimiento

• Intención del usuario 

• Traducción automática 

• Atención al cliente

• Reconocimiento de voz 

• Clasificación de texto

• Agentes virtuales

El análisis de sentimiento es la aplicación de modelos de machine learning para identificar el estado de ánimo y la emoción en un contenido. Por ejemplo, los investigadores pueden utilizar el análisis de sentimiento en publicaciones en redes sociales y comentarios de usuarios para identificar cómo se sienten los usuarios sobre una marca. La información que aprenden se puede aplicar al desarrollo futuro de productos, ajustes de precios y otros cambios. 

Los motores de búsqueda utilizan NLU para proporcionar respuestas más relevantes. El mismo principio se aplica a los sitios web con funciones de búsqueda; por ejemplo, un sitio web de comercio electrónico puede aumentar potencialmente las ventas al mostrar los artículos más relevantes en respuesta a las búsquedas de los usuarios. Es probable que la optimización de los resultados de búsqueda dé lugar a que más usuarios continúen utilizando el motor de búsqueda o realicen una compra.

La traducción automática es el uso de computadoras para realizar traducciones automáticas de idiomas. Por ejemplo, imagine una aplicación móvil que traduce entre inglés hablado y español en tiempo real. Un usuario de habla hispana podría usar una aplicación de este tipo para conversar con hablantes de inglés y, al mismo tiempo, entender todo lo que se dice en inglés a su alrededor. 

Los chatbots de atención al cliente se han vuelto más sofisticados a medida que mejora la IA generativa. La NLU permite que los chatbots participen en conversaciones similares a las humanas con los usuarios, y las organizaciones los han desplegado cada vez más para responder consultas de atención al cliente y preguntas comunes. Mientras tanto, el personal humano completa la interfaz de experiencia del cliente al abordar problemas demasiado complejos para que los maneje la IA. 

El uso de chatbots de atención al cliente es un ejemplo de cómo los avances en IA, incluida la NLU, han optimizado los flujos de trabajo y han llevado a una mayor automatización del flujo de trabajo.

Los sistemas de NLU ayudan a los usuarios a comunicarse verbalmente con el software, como los sistemas de enrutamiento automatizados que se encuentran al llamar a grandes corporaciones. En lugar de presionar repetidamente 0 hasta que el sistema pase la llamada a un humano, las personas que llaman pueden decir "hablar con un humano". Con la NLU en funcionamiento, el software puede convertir la solicitud hablada del usuario en datos estructurados en tiempo real y transferir la llamada. 

Las organizaciones han comenzado a desplegar agentes virtuales como parte de una mayor experiencia del cliente. Estos modelos pueden interactuar directamente con los usuarios, utilizando NLU y GLN para facilitar la interacción, y actuar en nombre de los usuarios y las organizaciones. Los asistentes virtuales como Alexa y Siri también utilizan NLU para cumplir con las solicitudes de los usuarios.