Qu’est-ce que le Natural Language Understanding (NLU) ?

Le NLU permet aux entreprises d’extraire des informations à partir de données non structurées, telles que le langage parlé ou les entrées en langage naturel. Avec le NLU, les ordinateurs peuvent également communiquer avec des utilisateurs non formés sans utiliser de langages de programmation.  

Le langage humain étant très nuancé, complexe et plein d’ambiguïtés, le NLU est un défi de machine learning exigeant pour les informaticiens et les ingénieurs travaillant avec de grands modèles de langage (LLM). Les systèmes NLU permettent aux ordinateurs de saisir les subtilités du langage écrit et parlé – nuances subtiles, structures de phrases complexes, utilisations de mots potentiellement déroutantes, argot et dialectes, etc.  

En raison de l’essor de l’IA générative et de son utilisation dans les chatbots grand public, les séquences de questions-réponses, la traduction automatique et d’autres applications, le NLU fait l’objet d’investissements commerciaux considérables. Sans NLU, les chatbots interactifs tels que ChatGPT n’existeraient peut-être pas. C’est grâce au NLU que les chatbots d’IA générative peuvent tenir une conversation réaliste et naturelle avec les utilisateurs.

Le NLU est un type de traitement automatique du langage naturel (NLP), un domaine plus large permettant aux ordinateurs de comprendre et de communiquer en langage humain. Outre la compréhension du sens, les tâches du NLP couvrent le mappage d’éléments linguistiques tels que la syntaxe, les définitions de mots et les parties du discours. 

Avant le développement du NLP, les utilisateurs communiquaient avec les ordinateurs via des langages de programmation tels que Python et C++. Alors que le codage utilise toujours des langages de programmation, les applications logicielles no-code permettent aux utilisateurs d’indiquer directement les instructions aux ordinateurs en langage naturel. 

Le NLP est issu du domaine informatique de la linguistique computationnelle, qui utilise des ordinateurs pour analyser le langage. L’introduction des algorithmes de machine learning et des modèles d’apprentissage profond a permis aux ordinateurs d’effectuer des tâches liées au langage, telles que la reconnaissance vocale et la génération de contenu. 

La génération de langage naturel (NLG) est la manière dont les ordinateurs génèrent automatiquement du contenu en langage humain, par exemple lorsqu’un chatbot fournit un résumé textuel ou tient une conversation avec un utilisateur. Le NLG est généralement associé au NLU. Un modèle d’apprentissage profond reçoit une entrée en langage naturel, la convertit en données utilisables avec le NLP, y compris le NLU, puis génère une réponse avec le NLG que l’utilisateur peut comprendre. 

Le NLP, le NLG et le NLU sont tous liés, le NLP étant la discipline générale contenant les deux derniers. C’est le NLG qui permet aux chatbots comme ChatGPT, aux bots de support client et aux assistants vocaux tels qu’Alexa d’Amazon de paraître humains lorsqu’ils interagissent avec les utilisateurs.

Le Natural Language Understanding fonctionne en utilisant des algorithmes de machine learning pour transformer la parole ou le langage écrit non structuré en un modèle de données structurées représentant son contenu et sa signification. Les systèmes NLU appliquent une analyse syntaxique pour comprendre les mots dans une phrase, et une analyse sémantique pour traiter le sens de ce qui est dit. 

Les techniques d’apprentissage supervisé pour les algorithmes NLU impliquent de fournir à l’algorithme des données d’entraînement étiquetées. Cette méthode guide explicitement l’algorithme pour comprendre les nuances linguistiques, par exemple, si l’on utilise la moyenne homonyme dans un contexte statistique plutôt que dans le cadre d’une évaluation de la personnalité. 

Les techniques d’apprentissage non supervisé montrent aux algorithmes des jeux de données massifs non étiquetés dans le but de leur faire découvrir les relations et les modèles sous-jacents. Les modèles NLU contemporains sont généralement entraînés avec une combinaison de méthodes supervisées et non supervisées. 

Les principaux mécanismes qui rendent le NLU possible sont les suivants : 

• Tokenisation et embedding

• Reconnaissance d’entités nommées (NER) 

• Reconnaissance de l’intention

Dans le NLU, la tokenisation consiste à utiliser des algorithmes de machine learning pour segmenter le texte non structuré en parties plus petites qui peuvent ensuite être analysées plus en profondeur. Chaque segment qui en résulte est appelé token. Les algorithmes d’embedding convertissent chaque token en une représentation numérique qui est ensuite tracée dans un espace vectoriel tridimensionnel pour cartographier les relations entre les tokens. 

Le NLU actuel utilise généralement des modèles basés sur des transformers, tels que GPT, car ils excellent dans la capture des dépendances entre les tokens. Les dépendances sont des relations à longue portée entre des tokens distants dans une séquence. La capture correcte des dépendances permet aux ordinateurs de maintenir la compréhension contextuelle sur de longues séquences d’entrée.

Le Named Entity Recognition (NER) est une technique d’extraction d’informations qui identifie et classe les entités nommées, ou objets du monde réel, dans les données textuelles. Les entités nommées peuvent être physiques, telles que des personnes, des lieux et des éléments, ou abstraites, comme une date ou l’âge et le numéro de téléphone d’une personne.

La reconnaissance de l’intention indique à un algorithme NLU ce qu’un utilisateur souhaite faire. Les moteurs de recherche utilisent la reconnaissance de l’intention pour fournir des résultats pertinents pour la requête correspondante, non seulement en termes factuels, mais aussi en donnant à l’utilisateur les informations souhaitées. 

Par exemple, une recherche sur « poulet tikka masala » fournit probablement une liste de recettes. Mais que se passe-t-il si l’utilisateur tape « poulet tikka masala près de chez moi ? » La reconnaissance de l’intention indique au moteur de recherche que l’utilisateur ne veut pas préparer du poulet tikka masala, mais qu’il souhaite déguster le plat dans un restaurant local.

Les applications NLU couvrent un large éventail de cas d’utilisation dans lesquels les ordinateurs doivent communiquer directement avec des humains ou traiter des données en langage humain. Voici quelques cas d’utilisation du Natural Language Understanding : 

• Analyse des sentiments

• Intention de l’utilisateur 

• Traduction automatique 

• Support client

• Reconnaissance vocale 

• Classification de texte

• Agents conversationnels

L’analyse des sentiments est l’application de modèles de machine learning pour identifier l’humeur et l’émotion dans un contenu. Par exemple, les chercheurs peuvent utiliser l’analyse des sentiments sur les publications sur les réseaux sociaux et les avis des utilisateurs pour identifier ce que les utilisateurs pensent d’une marque. Les informations qu’ils apprennent peuvent être exploitées dans le développement futur de produits, les ajustements de tarification et autres modifications. 

Les moteurs de recherche utilisent le NLU pour fournir des réponses plus pertinentes. Le même principe s’applique aux sites Web dotés de fonctions de recherche. Par exemple, un site de e-commerce peut potentiellement augmenter les ventes en affichant les éléments les plus pertinents en réponse aux recherches des utilisateurs. L’optimisation des résultats de recherche est susceptible d’inciter un plus grand nombre d’utilisateurs à continuer à utiliser le moteur de recherche ou à effectuer un achat.

La traduction automatique désigne l’utilisation d’ordinateurs pour effectuer la traduction automatisée de contenu d’une langue dans une autre. Par exemple, imaginez une application mobile qui traduit de l’anglais parlé à l’espagnol en temps réel. Un hispanophone peut utiliser cette application pour converser avec des locuteurs anglais en comprenant tout ce qui se dit en anglais. 

Les chatbots de support client sont devenus plus sophistiqués grâce à l’amélioration de l’IA générative. Le NLU permet aux chatbots d’engager des conversations semblables à celles des humains avec les utilisateurs, et les entreprises les déploient de plus en plus pour répondre aux requêtes du service client et aux questions courantes. Parallèlement, le personnel complète l’interface de l’expérience client en répondant aux problèmes trop complexes pour être traités par l’IA. 

L’utilisation de chatbots de support client est un exemple de la manière dont les progrès de l’IA, notamment le NLU, ont rationalisé les workflows et amplifié leur automatisation.

Les systèmes NLU aident les utilisateurs à communiquer verbalement avec les logiciels, tels que les systèmes de routage automatisés qui gèrent les appels aux grandes entreprises. Au lieu d’appuyer plusieurs fois sur 0 jusqu’à ce que le système transmette l’appel à un humain, les appelants peuvent dire « parler à un humain ». Avec le NLU, le logiciel peut convertir la demande vocale de l’utilisateur en données structurées en temps réel et transférer l’appel. 

Les entreprises ont commencé à déployer des agents conversationnels dans le cadre de l’amélioration de l’expérience client. Ces modèles peuvent interagir directement avec les utilisateurs (NLU et NLG) et agir pour le compte des utilisateurs et des entreprises. Les assistants virtuels tels qu’Alexa et Siri utilisent également le NLU pour répondre aux demandes des utilisateurs.