¿Qué es la comprensión del lenguaje natural (CLN)?

La CLN permite a las organizaciones extraer conocimientos de datos no estructurados, como el lenguaje hablado o las entradas escritas en lenguaje natural. A través de las CLN, los ordenadores también pueden comunicarse con usuarios no entrenados sin el uso de lenguajes de programación.  

Debido a que el lenguaje humano es tan matizado, complejo y lleno de ambigüedades, la CLN es un reto exigente de machine learning para informáticos e ingenieros que trabajan con modelos de lenguaje de gran tamaño (LLM). Los sistemas de CLN hacen posible que los ordenadores capten las complejidades del lenguaje escrito y hablado: matices sutiles, estructuras de oraciones complejas, usos de palabras potencialmente confusos, jerga y dialectos y otros.  

Debido al auge de la IA generativa y su uso en chatbots de consumo, respuesta a preguntas, traducción automática y otras aplicaciones, la CLN recibe una inversión comercial considerable. Sin CLN, los chatbots interactivos como ChatGPT podrían no existir. La CLN es la razón por la que los chatbots de IA generativa pueden mantener una conversación con los usuarios que se sienta realista y natural.

La CLN es un tipo de procesamiento del lenguaje natural (PLN), el campo más amplio de permitir que los ordenadores comprendan y se comuniquen en lenguaje humano. Además del enfoque de CLN en la comprensión del significado, las tareas de PLN cubren el mapeo de elementos lingüísticos como la sintaxis, las definiciones de palabras y las partes del discurso. 

Antes del desarrollo del PLN, los usuarios se comunicaban con los ordenadores a través de lenguajes de programación como Python y C++. Aunque la codificación sigue utilizando lenguajes de programación, las aplicaciones de software no-code permiten a los usuarios instruir directamente a los ordenadores con lenguaje natural. 

El PLN surgió del campo informático de la lingüística computacional, que utiliza ordenadores para analizar el lenguaje. La introducción de algoritmos de machine learning y modelos de deep learning permitió a los ordenadores realizar tareas relacionadas con el lenguaje, como el reconocimiento de voz y la generación de contenidos. 

La generación de lenguaje natural (GLN) es la forma en que los ordenadores generan automáticamente contenido en lenguaje humano, como cuando un chatbot entrega un resumen de texto o mantiene una conversación con un usuario. La GLN suele ir emparejada con la CLN. Un modelo de deep learning recibe una entrada de lenguaje natural, la convierte en datos utilizables con PLN, incluida CLN, y luego genera una respuesta con GLN que el usuario puede entender. 

El PLN, la GLN y la CLN están relacionados, siendo el PLN la disciplina general que contiene los dos últimos. La GLN es lo que permite que chatbots como ChatGPT, bots de atención al cliente contemporáneos y asistentes de voz como Alexa de Amazon parezcan humanos cuando interactúan con los usuarios.

La comprensión del lenguaje natural funciona mediante el uso de algoritmos de machine learning para transformar el habla no estructurada o el lenguaje escrito en un modelo de datos estructurado que representa su contenido y significado. Los sistemas de CLN aplican el análisis sintáctico para comprender las palabras de una oración y el análisis semántico para procesar el significado de lo que se dice. 

Las técnicas de aprendizaje supervisado para algoritmos de CLN implican alimentar el algoritmo con datos de entrenamiento etiquetados. Este método guía explícitamente al algoritmo para que comprenda los matices lingüísticos, por ejemplo, si se utiliza la media homónima en un contexto estadístico en lugar de una evaluación de personalidad. 

Las técnicas de aprendizaje no supervisado muestran algoritmos a conjuntos de datos masivos no etiquetados con el objetivo de que el algoritmo descubra las relaciones y patrones subyacentes. Los modelos de CLN contemporáneos suelen entrenarse con una combinación de métodos supervisados y no supervisados. 

Los principales mecanismos que hacen posible la CLN incluyen: 

• Tokenización y embedding

• Reconocimiento de entidades nombradas (NER) 

• Reconocimiento de intenciones

La tokenización en la CLN es el uso de algoritmos de machine learning para segmentar texto no estructurado en partes más pequeñas que luego pueden analizarse más a fondo. Cada segmento resultante se conoce como token. Los algoritmos de embedding convierten cada token en una representación numérica que luego se traza en un espacio vectorial tridimensional para trazar las relaciones entre los tokens. 

La CLN contemporánea suele utilizar modelos basados en transformadores, como GPT, porque destacan en la captura de dependencias entre tokens. Las dependencias son relaciones de largo alcance entre tokens distantes en una secuencia. La captura correcta de las dependencias permite a los ordenadores mantener la comprensión contextual a lo largo de largas secuencias de entrada.

El reconocimiento de entidades nombradas (NER) es una técnica de extracción de información que identifica y clasifica entidades nombradas, u objetos del mundo real, en datos de texto. Las entidades con nombre pueden ser físicas, como personas, lugares y elementos, o abstractas, como una fecha o la edad y el número de teléfono de una persona.

El reconocimiento de intenciones le dice a un algoritmo de CLN lo que un usuario quiere hacer. Los motores de búsqueda utilizan el reconocimiento de intenciones para ofrecer resultados que sean relevantes para la consulta correspondiente no solo en términos fácticos, sino que brinden al usuario la información que desea. 

Por ejemplo, una búsqueda de "pollo tikka masala" probablemente arrojará una lista de recetas. Pero, ¿y si el usuario escribe "pollo tikka masala cerca de mí?" El reconocimiento de intenciones le dice al motor de búsqueda que el usuario no quiere cocinar pollo tikka masala, sino disfrutar el plato en un restaurante local.

Las aplicaciones de CLN abarcan una amplia gama de casos de uso en los que es necesario que los ordenadores se comuniquen directamente con los humanos o procesen datos en lenguaje humano. Los casos de uso de la comprensión del lenguaje natural incluyen: 

• Análisis de sentimiento

• Intención del usuario 

• Traducción automática 

• Atención al cliente

• Reconocimiento de voz 

• Clasificación de textos

• Agentes virtuales

El análisis de sentimientos es la aplicación de modelos de machine learning para identificar el estado de ánimo y la emoción en un contenido. Por ejemplo, los investigadores pueden usar el análisis de sentimientos en publicaciones en redes sociales y reseñas de usuarios para identificar cómo se sienten los usuarios acerca de una marca. La información que aprenden se puede aplicar al futuro desarrollo de productos, ajustes de precios y otros cambios. 

Los motores de búsqueda utilizan la CLN para proporcionar respuestas más relevantes. El mismo principio se aplica a los sitios web con funciones de búsqueda; por ejemplo, un sitio web de comercio electrónico puede aumentar potencialmente las ventas mostrando los artículos más relevantes en respuesta a las búsquedas de los usuarios. Es probable que la optimización de los resultados de búsqueda haga que más usuarios sigan utilizando el motor de búsqueda o realicen una compra.

La traducción automática es el uso de ordenadores para realizar traducciones automatizadas de idiomas. Por ejemplo, imagine una aplicación móvil que traduzca entre inglés hablado y español en tiempo real. Un usuario de habla hispana podría utilizar una aplicación de este tipo tanto para conversar con hablantes de inglés como para entender todo lo que se dice en inglés a su alrededor. 

Los chatbots de atención al cliente se han vuelto más sofisticados a medida que mejora la IA generativa. La CLN permite a los chatbots entablar conversaciones humanas con los usuarios, y las organizaciones los han implementado cada vez más para atender preguntas comunes y servicio de atención al cliente. Mientras tanto, el personal humano completa la interfaz de la experiencia del cliente abordando problemas demasiado complejos para que la IA los gestione. 

El uso de chatbots de atención al cliente es un ejemplo de cómo los avances en IA, incluida la CLN, han optimizado los flujos de trabajo y han llevado a una mayor automatización del flujo de trabajo.

Los sistemas de CLN ayudan a los usuarios a comunicarse verbalmente con el software, como los sistemas de enrutamiento automatizados que se encuentran al llamar a grandes corporaciones. En lugar de presionar repetidamente 0 hasta que el sistema pase la llamada a un humano, las personas que llaman pueden decir "hablar con un humano". Con la CLN en funcionamiento, el software puede convertir la solicitud hablada del usuario en datos estructurados en tiempo real y transferir la llamada. 

Las organizaciones han comenzado a implementar agentes virtuales como parte de una mayor experiencia del cliente. Estos modelos pueden interactuar directamente con los usuarios (utilizando CLN y GLN para facilitar la interacción) y actuar en nombre de los usuarios y las organizaciones. Los asistentes virtuales como Alexa y Siri también utilizan CLN para cumplir con las solicitudes de los usuarios.