El procesamiento del lenguaje natural (PLN) combina la lingüística computacional (modelización del lenguaje humano basada en reglas) con modelos estadísticos y de machine learning para que los ordenadores y dispositivos digitales reconozcan, comprendan y generen texto y voz.
El PLN, una rama de la inteligencia artificial (IA), se encuentra en el corazón de las aplicaciones y los dispositivos que pueden
- traducir texto de un idioma a otro
- responder a órdenes escritas u orales
- reconocer o autenticar usuarios por voz
- resumir grandes volúmenes de texto
- evaluar la intención o el sentimiento de un texto o discurso
- generar texto o gráficos u otros contenidos a petición
a menudo en tiempo real. Hoy en día, la mayoría de la gente ha interactuado con el PLN en forma de sistemas GPS operados por voz, asistentes digitales, softwares speech to text, chatbots de atención al cliente y otras comodidades para el consumidor. Pero el PLN también desempeña un papel cada vez más importante en las soluciones empresariales que ayudan a agilizar y automatizar las operaciones de negocio, aumentar la productividad de los empleados y simplificar los procesos empresariales de misión crítica.
Utilice este marco de selección de modelos para elegir el más adecuado y equilibrar sus requisitos de rendimiento con el coste, los riesgos y las necesidades de implementación.
Regístrese para obtener el informe técnico sobre el gobierno de la IA
El lenguaje humano está lleno de ambigüedades que hacen increíblemente difícil escribir programas informáticos que determinen con precisión el significado de un texto o de unos datos vocales. Homónimos, homófonos, sarcasmo, modismos, metáforas, excepciones gramaticales y de uso, variaciones en la estructura de las frases... Éstas son sólo algunas de las irregularidades del lenguaje humano que los seres humanos tardan años en aprender, pero que los programadores deben enseñar a las aplicaciones basadas en el lenguaje natural a reconocer y entender con precisión desde el principio, si quieren que dichas aplicaciones sean útiles.
Varias tareas de PLN descomponen los datos de texto y voz humanos de forma que ayuden al ordenador a dar sentido a lo que está ingiriendo. Entre estas tareas se incluyen las siguientes:
- El reconocimiento de voz, también llamado speech to text, es la tarea de convertir de forma fiable datos de voz en datos de texto. El reconocimiento de voz es necesario para cualquier aplicación que siga órdenes de voz o responda a preguntas habladas. Lo que hace que el reconocimiento del habla sea especialmente difícil es la forma en que la gente habla: con rapidez, arrastrando las palabras, con énfasis y entonación variables, con acentos diferentes y, a menudo, utilizando una gramática incorrecta.
- El etiquetado de partes del discurso, también llamado etiquetado gramatical, es el proceso de determinar la parte de la oración de una determinada palabra o fragmento de texto en función de su uso y contexto. La parte del discurso identifica "peinado" como verbo en "Me han peinado en la peluquería" y como sustantivo en "¡Qué peinado más bonito!".
- La desambiguación del sentido de las palabras es la selección del significado de una palabra con múltiples acepciones mediante un proceso de análisis semántico que determina la palabra que tiene más sentido en el contexto dado. Por ejemplo, la desambiguación del sentido de las palabras ayuda a distinguir el significado del verbo "dar" en "dar con la tecla" (acertar) frente a "dar un puñetazo" (pegar).
- El reconocimiento de entidades nombradas o NER (por sus siglas en inglés) identifica palabras o frases como entidades útiles. El NER identifica "Madrid" como localidad y "Mario" como nombre de hombre.
- La resolución de correferencias es la tarea de identificar si dos palabras se refieren a la misma entidad y cuándo. El ejemplo más común es determinar la persona u objeto al que se refiere un determinado pronombre (por ejemplo, "ella" = "María"), pero también puede consistir en identificar una metáfora o un modismo en el texto (por ejemplo, un caso en el que "oso" no es un animal, sino una persona grande y peluda).
- El análisis de sentimientos trata de extraer cualidades subjetivas (actitudes, emociones, sarcasmo, confusión, sospecha) de un texto.
- La generación de lenguaje natural se describe a veces como lo opuesto al reconocimiento de voz o speech to text; es la tarea de poner información estructurada en lenguaje humano.
Consulte la entrada del blog "PLN vs CLN vs GLN: las diferencias entre tres conceptos de procesamiento del lenguaje natural" para profundizar en cómo se relacionan estos conceptos.
El nuevo estudio empresarial que aúna el machine learning tradicional con las nuevas funciones de IA generativa basadas en modelos fundacionales.
Python y el kit de herramientas de lenguaje natural (NLTK)
El lenguaje de programación Python ofrece una amplia gama de herramientas y bibliotecas para abordar tareas específicas de PLN. Muchos de ellos se encuentran en el kit de herramientas de lenguaje natural, o NLTK (por sus siglas en inglés), una colección de código abierto de bibliotecas, programas y recursos formativos para crear programas de PLN.
El NLTK incluye bibliotecas para muchas de las tareas de PLN enumeradas anteriormente, además de bibliotecas para subtareas, como el análisis sintáctico de frases, la segmentación de palabras, el stemming y la lematización (métodos de recorte de palabras hasta sus raíces) y la tokenización (para dividir frases, oraciones, párrafos y pasajes en tokens que ayuden al ordenador a comprender mejor el texto). También incluye bibliotecas para implementar capacidades como el razonamiento semántico, la capacidad de llegar a conclusiones lógicas a partir de hechos extraídos de un texto.
PLN estadístico, machine learning y deep learning
Las primeras aplicaciones de PLN eran sistemas codificados a mano y basados en reglas que podían realizar ciertas tareas de PLN, pero no podían adaptarse fácilmente a un flujo aparentemente interminable de excepciones o a los crecientes volúmenes de datos de texto y voz.
Introduzca el PLN estadístico, que combina algoritmos informáticos con modelos de machine learning y deep learning para extraer, clasificar y etiquetar automáticamente elementos de texto y datos de voz y luego asignar una probabilidad estadística a cada significado posible de esos elementos. Hoy en día, los modelos de deep learning y las técnicas de aprendizaje basadas en redes neuronales convolucionales (CNN, por sus siglas en inglés) y redes neuronales recurrentes (RNN, por sus siglas en inglés) permiten a los sistemas de PLN "aprender" mientras trabajan y extraer significados cada vez más precisos de enormes volúmenes de conjuntos de datos de texto y voz sin procesar, sin estructurar y sin etiquetar.
Para profundizar en los matices entre estas tecnologías y sus enfoques de aprendizaje, consulte "IA vs machine learning vs deep learning vs redes neuronales: ¿Cuál es la diferencia?"
El procesamiento del lenguaje natural es la fuerza motriz de la inteligencia artificial en muchas aplicaciones modernas del mundo real. Estos son algunos ejemplos:
- Detección de spam: Puede que no piense en la detección de spam como una solución PLN, pero las mejores tecnologías de detección de spam utilizan las capacidades de clasificación de texto de PLN para escanear los correos electrónicos en busca de lenguaje que a menudo indica spam o phishing. Estos indicadores pueden incluir el uso excesivo de términos financieros, mala gramática característica, lenguaje amenazador, urgencia inapropiada, nombres de empresas mal escritos, etc. La detección del spam es uno de los pocos problemas de la PLN que los expertos consideran "casi resueltos" (aunque usted pueda argumentar que esto no se corresponde con su experiencia con el correo electrónico).
- Traducción automática: Google Translate es un ejemplo de tecnología PLN ampliamente disponible. La traducción automática realmente útil implica algo más que sustituir palabras de una lengua por palabras de otra. Una traducción eficaz tiene que captar con precisión el significado y el tono de la lengua de entrada y traducirlo a un texto con el mismo significado y el impacto deseado en la lengua de salida. Las herramientas de traducción automática avanzan a buen ritmo en términos de precisión. Una buena forma de probar cualquier herramienta de traducción automática es traducir un texto a un idioma y luego volver al original. Un ejemplo clásico muy citado: No hace mucho, traducir "The spirit is willing but the flesh is weak" ("El espíritu está dispuesto, pero la carne es débil") del inglés al ruso y viceversa daba como resultado "El vodka es bueno, pero la carne está podrida". Hoy, el resultado es "El espíritu desea, pero la carne es débil", que no es perfecto, pero inspira mucha más confianza en la traducción del inglés al ruso.
- Agentes virtuales y chatbots: Los agentes virtuales como Siri de Apple y Alexa de Amazon utilizan el reconocimiento de voz para reconocer patrones en los comandos de voz y la generación de lenguaje natural para responder con acciones apropiadas o comentarios útiles. Los chatbots aplican los mismos trucos a las entradas de texto. Los mejores también aprenden a reconocer pistas contextuales sobre las peticiones humanas y las utilizan para ofrecer respuestas u opciones aún mejores con el tiempo. La siguiente mejora para estas aplicaciones es la respuesta a preguntas, la capacidad de responder a nuestras preguntas, anticipadas o no, con respuestas pertinentes y útiles en sus propias palabras.
- Análisis de sentimiento en las redes sociales: el PLN se ha convertido en una herramienta empresarial esencial para descubrir datos ocultos en los canales de las redes sociales. El análisis de sentimientos puede analizar el lenguaje utilizado en las publicaciones de las redes sociales, las respuestas, los comentarios, etc. para extraer actitudes y emociones en respuesta a productos, promociones y eventos, información que las empresas pueden utilizar en el diseño de productos, campañas publicitarias, etc.
- Resumen de textos: el resumen de textos utiliza técnicas de PLN para digerir enormes volúmenes de texto digital y crear resúmenes y sinopsis para índices, bases de datos de investigación o lectores ocupados que no tienen tiempo de leer el texto completo. Las mejores aplicaciones de resumen de textos utilizan el razonamiento semántico y la generación de lenguaje natural (GLN) para añadir contexto y conclusiones útiles a los resúmenes.
Acelere el valor empresarial de la inteligencia artificial con una cartera potente y flexible de bibliotecas, servicios y aplicaciones.
Infunda una potente IA de lenguaje natural en aplicaciones comerciales con una biblioteca en contenedores diseñada para dotar a los socios de IBM de una mayor flexibilidad.
Aprenda los conceptos fundamentales de la IA y la IA generativa, incluida la ingeniería de avisos, los grandes modelos lingüísticos y los mejores proyectos de código abierto.
Conozca diferentes casos de uso de PLN en este explicador de PLN.
Visite el sitio web de IBM Developer para acceder a blogs, artículos, boletines y mucho más. Conviértase en socio de IBM e infunda la IA integrable de IBM Watson en sus soluciones comerciales hoy mismo. BM Watson NLP Library for Embed para sus soluciones.
Rob Thomas, director general de IBM Data & AI, recibe a expertos y clientes de PLN para mostrarles cómo las tecnologías de PLN están optimizando los negocios en todos los sectores.
Las consideraciones éticas en cuestión de IA nunca han sido tan críticas como ahora.
IBM ha lanzado un nuevo conjunto de herramientas de código abierto, PrimeQA, para impulsar el progreso de los sistemas multilingües de respuesta a preguntas y facilitar a cualquiera la búsqueda rápida de información en la web.