Qu’est-ce que la validation des données ?
La validation consiste à vérifier si les données sont propres, exactes et prêtes à l’emploi.
Les données valides se situent dans les limites ou les plages autorisées, sont conformes aux formats de données spécifiés, sont exemptes d’inexactitudes et respectent les critères de validation définis par l’entreprise.
La validation des données est depuis longtemps une étape incontournable des workflows de gestion des données. Après tout, la non-validité des données peut avoir des conséquences désastreuses sur leur analyse. L’urgence et l’importance du processus de validation ne cessent de croître au fur et à mesure que les entreprises procèdent à un niveau de collecte de données sans précédent, afin d’alimenter leur prise de décision axée sur les données et leurs projets d’intelligence artificielle (IA).
Aujourd’hui, les entreprises accumulent des téraoctets, voire des pétaoctets de données. Ces informations proviennent de diverses sources telles que les appareils IdO (Internet des objets) et les réseaux sociaux, et sont souvent déplacées vers des entrepôts de données et d’autres systèmes cibles. La diversité des sources et l’ampleur des migrations de données peuvent toutefois engendrer une multitude de problèmes : formats incohérents et disparates, données dupliquées, champs de données incomplets, erreurs de saisie, voire empoisonnement des données.
Ces problèmes de qualité peuvent compromettre l’intégrité des données et mettre en péril la prise de décision. Les données non valides sont un véritable casse-tête non seulement pour les analystes, mais aussi pour les ingénieurs, les data scientists et tout autre professionnel travaillant avec des modèles d’IA.
Pour être performants, les modèles d’IA, notamment les modèles de machine learning et d’IA générative, doivent être entraînés sur des données fiables et exactes. Alors qu’une mise en œuvre efficace de l’IA est désormais synonyme d’avantage concurrentiel, les entreprises ne peuvent pas prendre le risque que leurs projets en la matière soient compromis par des données non valides. Les entreprises se tournent vers les processus de validation des données pour s’assurer que la qualité de ces dernières convient à une utilisation dans l’analytique et l’IA.
En outre, la validation des données gagne en importance pour des raisons de conformité réglementaire. Par exemple, la loi européenne sur l’intelligence artificielle exige que la validation des données utilisées dans les systèmes d’IA « à haut risque » soit incorporée à des pratiques rigoureuses de gouvernance des données.
Newsletter sectorielle
Les dernières actualités technologiques, étayées par des avis d’experts
Restez au fait des tendances les plus étonnantes du secteur dans le domaine de l’IA, de l’automatisation, des données et bien d’autres avec la newsletter Think. Consultez la Déclaration de confidentialité d’IBM.
Vous recevrez votre abonnement en anglais. Vous trouverez un lien de désabonnement dans chaque newsletter. Vous pouvez gérer vos abonnements ou vous désabonner ici. Consultez la Déclaration de confidentialité d’IBM pour plus d’informations.
La validation des données implique la mise en place et l’application de règles métier et de vérifications.
Si les règles et les techniques de validation des données varient selon l’entreprise, les types de vérification les plus courants sont les suivants :
- Vérification du code
- Vérification de la cohérence
- Vérification du type de données
- Vérification du format
- Vérification de la portée
- Vérification de l’unicité
Vérification du code
La vérification du code permet de déterminer si la valeur d’une donnée est valide en la comparant à une liste de valeurs acceptables. Parmi les exemples, citons les codes pays, les codes ISBN (International Standard Book Number) et les codes du Système de classification des industries de l'Amérique du Nord (SCIAN), utilisés pour classer les entreprises.
Vérification de la cohérence
La vérification de la cohérence permet de s’assurer que les données d’entrée sont logiques et n’entrent pas en conflit avec d’autres valeurs. Par exemple, dans une base de données sur les couples mariés, la date de leurs fiançailles doit être antérieure à celle de leur mariage.
Vérification du type de données
Le type de données définit le format valide des données présente dans une colonne. Parmi les différents types, citons les données textuelles, numériques ou encore les dates. Cette vérification permet d’identifier les valeurs qui ne correspondent pas au type de données sélectionné en termes de longueur, d’exactitude ou d’échelle, ou qui ne respectent pas le type de données spécifié.
Vérification du format
La vérification du format est appliquée aux colonnes ayant des exigences particulières en matière de formatage des données, comme celles contenant des numéros de téléphone, des adresses e-mail ou des dates.
Vérification de la portée
La vérification de la plage permet de déterminer si les données numériques se situent entre les valeurs minimales et maximales définies. Par exemple, les valeurs d’une colonne listant la pression de pneu automobile recommandée peuvent aller de 1,8 à 3,5 bars.
Vérification de l’unicité
La vérification de l’unicité s’applique aux colonnes dont chaque entrée de données doit être unique, sans valeurs en double.
Parmi les autres vérifications réalisées pour valider les données, citons la vérification de la longueur (pour garantir le nombre approprié de caractères dans un champ), la vérification de présence (s’assurer que les champs obligatoires ne sont pas vides) et la validation des schémas (s’assurer que les données sont conformes à une structure prédéfinie).
La validation est souvent associée au nettoyage des données, qui consiste à corriger les erreurs et les incohérences présentes dans les jeux de données brutes. La validation des données peut être considérée soit comme une composante du nettoyage des données, soit comme un processus distinct.
La validation et le nettoyage des données sont tous deux des éléments de la gestion de la qualité des données (DQM), un ensemble de pratiques permettant d’assurer la qualité des données au sein de l’entreprise. Parmi les processus DQM complémentaires, citons le profilage des données, la surveillance de la qualité des données et la gestion des métadonnées.
Si la validation des données peut être effectuée manuellement, il s’agit d’une tâche ardue et chronophage. Différents outils de données aident les spécialistes à accélérer, à automatiser et à rationaliser le processus de validation.
Les tableurs comme Microsoft Excel proposent des fonctionnalités de validation des données comme la possibilité de créer des listes déroulantes et des formules personnalisées, ou encore de limiter les entrées aux valeurs qui répondent à des règles bien précises. Par exemple, l’utilisateur ne pourra saisir que des valeurs qui respectent le nombre de caractères et le format autorisés. Les tableurs sont plus efficaces pour gérer et valider les jeux de données peu volumineux.
Les spécialistes des données peuvent utiliser des outils open source et des langages de programmation tels que Python et SQL pour exécuter des scripts et automatiser le processus de validation des données. Les utilisateurs d’Excel peuvent utiliser le langage de programmation VBA (Visual Basic for Applications) pour créer des règles de validation des données et automatiser les processus de validation.
Les plateformes d’intégration des données combinent et harmonisent les données provenant de diverses sources dans un format unifié et cohérent, utilisable à des fins analytiques, opérationnelles et décisionnelles. La validation des données est une étape courante du processus d’intégration des données. L’approche d’intégration des données ETL (extraction, transformation, chargement), en particulier, est connue pour assurer une validation rigoureuse des données.
Les solutions d’observabilité des données surveillent l’état des données dans l’écosystème de l’entreprise et proposent des tableaux de bord pour améliorer la visibilité. Les outils de surveillance et d’analyse continues alimentés par l’IA permettent de détecter et de résoudre les anomalies et autres problèmes liés aux données en temps quasi réel. Les principales plateformes d’intégration sont dotées de fonctionnalités d’observabilité des données.
Ressources
Créez et gérez des pipelines intelligents de diffusion de données en continu via une interface graphique intuitive, facilitant ainsi une intégration fluide des données dans les environnements hybrides et multicloud.
watsonx.data vous permet d’adapter le dimensionnement des analyses et de l’IA à toutes vos données, où qu’elles se trouvent, grâce à un entrepôt de données ouvert, hybride et gouverné.
Avec IBM Consulting, exploitez les données de votre entreprise et développez une organisation basée sur les informations pour tirer des avantages métier.