Qu’est-ce que l’extraction de caractéristiques ?

La performance d’un modèle d’intelligence artificielle (IA) dépend de la qualité de ses données d’apprentissage. Les modèles de machine learning passent par un prétraitement afin de garantir que le format des données est adapté pour un entraînement et une performance efficaces des modèles.

L’extraction de caractéristiques joue un rôle essentiel dans le workflow de prétraitement. Au cours du processus d’extraction, les données non structurées sont converties dans un format plus structuré et utilisable afin d’améliorer la qualité des données et l’interprétabilité des modèles. L’extraction de caractéristiques est un sous-ensemble de l’ingénierie des caractéristiques, le processus plus large de création, de modification et de sélection des caractéristiques dans les données brutes pour optimiser les performances des modèles.  

Depuis les premières recherches sur la reconnaissance de modèles, de nouvelles méthodes et techniques ont été étudiées pour utiliser une méthode heuristique afin d’extraire les caractéristiques les plus pertinentes d’un jeu de données à l’aide de l’IA.¹ Au cours des recherches, les auto-encodeurs étaient traditionnellement utilisés pour la réduction de la dimensionnalité pour l’apprentissage des caractéristiques.²

Il est difficile de travailler avec des données lorsque le nombre de fonctionnalités, ou covariables, dépasse le nombre de points de données indépendants. Ce type de données est considéré comme une donnée de grande dimension.³ L’extraction de caractéristiques peut être considérée comme une technique de réduction de la dimensionnalité.⁴

Cet aspect est essentiel lorsque vous travaillez avec des jeux de données volumineux ou des jeux de données provenant de plusieurs modalités. Plus le modèle doit gérer de caractéristiques, moins il est compétent et performant.⁵ Les tâches courantes qui reposent sur une extraction efficace des caractéristiques comprennent le traitement des images, le traitement automatique du langage naturel (NLP) et le traitement du signal. 

La réduction de la dimensionnalité est une technique de science des données utilisée dans l’étape de prétraitement du machine learning.⁶ Au cours de ce processus, les données non pertinentes et redondantes sont supprimées tout en conservant les informations pertinentes du jeu de données d’origine.

Les caractéristiques peuvent être considérées comme les attributs d’un objet de données. Par exemple, dans un jeu de données sur des animaux, vous pouvez vous attendre à certaines caractéristiques numériques (âge, taille, poids) et caractéristiques catégorielles (couleur, espèces, race). L’extraction de caractéristiques fait partie de l’architecture de réseau neuronal du modèle, telle qu’un réseau neuronal convolutif (CNN).

Tout d’abord, le modèle prend en compte les données d’entrée, puis l’extracteur de caractéristiques transforme les données en une représentation numérique qui peut être utilisée pour calculer les méthodes de réduction de la dimensionnalité pour l’extraction de caractéristiques. Ces représentations sont stockées dans des vecteurs de caractéristiques pour que le modèle exécute des algorithmes de réduction des données. 

Après l’extraction, il est parfois nécessaire de normaliser les données à l’aide de la normalisation des caractéristiques, en particulier lorsque vous utilisez certains algorithmes qui sont sensibles à la magnitude et à l’échelle des variables (algorithmes de descente basés sur les gradients, clustering k-means).

Différentes méthodes peuvent être suivies pour obtenir certains résultats en fonction des tâches. Toutes les méthodes visent à simplifier les données tout en préservant les informations les plus précieuses.

La plupart des modèles d’IA modernes effectuent l’extraction automatique des caractéristiques, mais il est toujours utile de comprendre les différents moyens de la gérer. Voici quelques méthodes d’extraction de caractéristiques courantes utilisées pour la dimension :

Analyse en composantes principales (PCA) : cette technique réduit le nombre de caractéristiques dans les grands jeux de données aux composantes principales ou aux nouvelles caractéristiques à utiliser par le classificateur du modèle pour ses tâches spécifiques.

La PCA est populaire en raison de sa capacité à créer des données originales qui ne sont pas corrélées, ce qui signifie que les nouvelles dimensions créées par l’IA sont indépendantes les unes des autres.⁷ La PCA est donc une solution efficace pour le surajustement en raison du manque de redondance des données, car chaque caractéristique est unique.   
 
Analyse discriminante linéaire (LDA) : cette technique est couramment utilisée dans le machine learning supervisé pour séparer plusieurs classes et caractéristiques afin de résoudre les problèmes de classification.

Cette technique est couramment utilisée pour optimiser les modèles de machine learning. Les nouveaux points de données sont classés à l’aide de statistiques bayésiennes pour modéliser la distribution des données pour chaque classe. 

t-SNE (T-distributed stochastic neighbor embedding) : cette technique de machine learning est couramment appliquée à des tâches telles que la visualisation de caractéristiques dans l’apprentissage profond.⁸ Ceci est particulièrement utile lorsqu’il s’agit de visualiser des données à haute dimension en 2D ou en 3D.

Cette méthode est couramment utilisée pour analyser les modèles et les relations dans la science des données. En raison de sa nature non linéaire, le t-SNE est coûteux en calcul et n’est couramment utilisé que pour les tâches de visualisation.

Fréquence des termes et fréquence inverse des documents (TF-IDF) : cette méthode statistique évalue l’importance des mots en fonction de leur fréquence d’apparition. La fréquence du terme dans un document spécifique est pondérée par la fréquence à laquelle il apparaît dans tous les documents d’une collection ou d’un corpus.⁹ 

Cette technique est couramment utilisée dans le NLP pour la classification, le cluster et la récupération d’informations. Le Bag of words (BoW) est une technique similaire mais au lieu de tenir compte de la pertinence du terme, elle traite efficacement tous les mots de la même manière. 

Traitement d’image et vision par ordinateur : le processus d’extraction des caractéristiques identifie et extrait les caractéristiques clés des images et des vidéos. Les données d’image brutes (pixels) sont transformées en caractéristiques que la machine peut appliquer à des algorithmes pour extraire et classer un nouvel ensemble de caractéristiques. Par exemple, l’histogramme des gradients orientés (HOG) est un algorithme d’extraction de caractéristiques utilisé pour la détection d’objets.

Traitement automatique du langage naturel : l’extraction de caractéristiques convertit les données texte brutes en une structure de format que le modèle de machine learning peut traiter. Cela s’avère particulièrement utile pour des tâches telles que la classification, l’analyse des sentiments ou la named entity recognition (NER). Cette technique peut être appliquée dans tous les secteurs d’activité, utilisée dans les interfaces de chat et même dans les domaines de la santé comportementale. Cette recherche suggère que l’extraction de caractéristiques aide à la reconnaissance des émotions multimodales pour surveiller la santé comportementale des patients¹⁰.

Traitement du signal : cette technique permet d’analyser et d’extraire des informations significatives à partir de données de signal brutes (audio, images ou même données de séries temporelles) afin de faciliter des tâches telles que la classification, la détection ou la prédiction. Bien que le traitement du signal soit traditionnellement associé à des domaines tels que la reconnaissance vocale, le traitement audio et l’analyse d’images, il peut également être appliqué dans de nombreux autres domaines. Par exemple, dans le contexte médical, les signaux psychologiques sont utilisés, tels que les relevés d’ECG, pour détecter les tendances.¹¹