Les raisons pour lesquelles les données d’une organisation disparaissent sont nombreuses, notamment :

• Un manque de sensibilisation : les données obtenues dans le cadre des opérations métier normales sont souvent sombres parce que les organisations ne sont pas conscientes de leur vie ou ne comprennent pas leur valeur ou leur pertinence.
  
  
• Des données bloquées dans des silos : lorsque différents services d’une organisation collectent et stockent des données indépendamment, cela peut conduire à une fragmentation et à un isolement des données. Ces silos de données peuvent ne pas être accessibles ou visibles pour d’autres équipes, qui trouveraient potentiellement les données fort utiles.
  
  
• Une absence de gouvernance des données : sans un cadre de gouvernance des données robuste, les organisations peuvent avoir du mal à gérer et à suivre efficacement les données de leur écosystème. Résultat : les données sont désorganisées, perdues et inutilisables.
  
  
• Des systèmes hérités : à mesure que les organisations mettent à niveau leur logiciel et leur matériel, les anciens systèmes peuvent être mis hors service ou devenir moins pertinents. Les données stockées dans ces anciens systèmes ne sont pas prises en compte si elles ne peuvent pas être intégrées dans les outils d’analyse modernes de l’organisation.
  
  
• Une intégration incomplète des données :  des processus d’intégration de données incomplets ou inefficaces peuvent entraîner des lacunes et des incohérences dans les données. Cela peut rendre certains jeux de données inaccessibles ou ne pas les relier correctement à d’autres sources de données.
  
  
• L’évolution des priorités de l’entreprise : au fur et à mesure que les priorités de l’entreprise évoluent, certains jeux de données peuvent perdre de leur pertinence ou ne plus être pris en compte. Les données qui étaient autrefois utilisées activement peuvent être laissées dans l’obscurité à mesure que les objectifs de l’organisation changent.
  
  
• Des ressources et une littératie limitées : les organisations dont les ressources sont limitées peuvent privilégier la collecte et le stockage des données par rapport à l’analyse des données. En outre, une connaissance insuffisante des données de la part des employés peut entraver la découverte et l’utilisation de données précieuses.
  
  
• Des problèmes de qualité des données : les données de mauvaise qualité, telles que les données inexactes ou incomplètes, peuvent conduire à ce que les données soient négligées ou ignorées. Les données perçues comme peu fiables sont moins susceptibles d’être utilisées, ce qui les rend effectivement sombres.
  
  
• Les objectifs de conformité réglementaire : de nombreuses règles de conformité et de gouvernance obligent les organisations à suivre des réglementations strictes pendant la durée de stockage des données sensibles. Elles finissent souvent par les stocker bien après la période obligatoire parce qu’elles ne parviennent pas à garder une trace des données sensibles qui doivent être détruites.
  
  
• Des données redondantes, obsolètes et inutiles (ROT) : les données ROT apparaissent lorsque les employés enregistrent plusieurs copies des mêmes informations, des informations obsolètes et des informations superflues qui n’aident pas l’organisation à atteindre ses objectifs.

En termes de visibilité pour des initiatives d’analyse de données complètes et opportunes, les dark data peuvent être des données structurées, non structurées ou semi-structurées.   

Les données structurées sont des informations ajoutées à des champs de feuille de calcul ou de base de données clairement définis avant d’être stockées.

Les fichiers journaux des serveurs, les données des capteurs de l’Internet des objets (IoT), les bases de données de gestion de la relation client (CRM) et les systèmes de planification des ressources d’entreprise (ERP) sont des exemples de données obscures créées à partir de sources de données structurées.

Bien que la plupart des données sensibles, telles que les relevés bancaires électroniques, les dossiers médicaux et les données client chiffrées, soient généralement structurées, elles sont difficiles à afficher et à catégoriser en raison de problèmes d’autorisation.

Contrairement aux données structurées, les données non structurées comprennent des informations qui ne peuvent pas être organisées dans des bases de données ou des feuilles de calcul à des fins d’analyse sans conversion, codification, hiérarchisation et structuration.

Les correspondances par e-mail, les PDF, les documents texte, les publications sur les réseaux sociaux, les enregistrements de centres d’appels, les journaux de chat et les séquences vidéo de surveillance sont des exemples de dark data créées à partir de sources de données non structurées.

Les données semi-structurées sont des données non structurées qui contiennent des informations dans des champs de données définis. Bien qu’elles ne soient pas aussi faciles à découvrir que les données structurées, elles peuvent être recherchées ou cataloguées.

Parmi les exemples, citons le code HTML, les factures, les graphiques, les tableaux et les documents XML.

Parfois, des dark data sont créées en raison de problèmes de qualité des données.

Par exemple, la transcription d’un enregistrement audio est automatiquement générée, mais l’IA qui a créé la transcription fait quelques erreurs dans la transcription. Certains conservent la transcription, en pensant qu’ils pourront résoudre le problème à un moment donné, ce qui n’est jamais le cas.

Lorsque les organisations tentent de nettoyer des données de mauvaise qualité, elles passent parfois à côté de la cause du problème. Sans une bonne compréhension, il est impossible de s’assurer que le problème de la qualité des données ne se reproduira pas à l’avenir.

Cette situation devient alors cyclique, car plutôt que d’utiliser simplement des politiques de suppression des dark data inutilisées, les organisations les délaissent, ce qui contribue à un problème croissant de qualité des données.

Heureusement, il existe trois étapes de gestion de la qualité des données que les organisations peuvent prendre pour atténuer ce problème :

1. Analyser et identifier la situation « en l’état » : pour hiérarchiser les problèmes, identifiez d’abord tous les problèmes en cours, les normes existantes relatives aux données et l’impact métier.
   
   
2. Éviter la récurrence des données incorrectes :  évaluez ensuite la cause profonde de chaque problème et appliquez des ressources pour résoudre le problème de manière durable afin qu’il ne se reproduise plus.
   
   
3. Communiquer à intervalles réguliers : partagez les événements, les activités de l’équipe, l’impact de ce travail et le lien entre ces efforts et les objectifs de l’entreprise.

Malgré tous les coûts et les problèmes de qualité des données liés aux dark data, il existe des avantages. Comme le dit Splunk, « les dark data peuvent être l’une des plus grandes ressources inexploitées d’une organisation ».³

En adoptant une approche proactive de la gestion des dark data, les organisations peuvent les mettre en avant. Cela permet non seulement de réduire les responsabilités et les coûts, mais aussi de donner aux équipes les ressources dont elles ont besoin pour découvrir des informations à partir de données cachées.

Lorsqu’il s’agit de gérer les dark data et de les utiliser éventuellement pour prendre de meilleures décisions fondées sur les données, il existe plusieurs bonnes pratiques à suivre :

Éliminer les silos

Les dark data sont souvent dus à des silos au sein de l’organisation. Une équipe crée des données qui pourraient être utiles à une autre, mais cette autre équipe ne le sait pas. En brisant ces silos, vous mettez ces données à la disposition de l’équipe qui en a besoin. Il s’agit là de mettre la main sur un trésor immense.

Améliorer la gestion des données

Il est important de comprendre quelles données existent au sein de l’organisation. Cet effort commence par classer toutes les données afin d’obtenir une vue complète et précise. À partir de là, les équipes peuvent commencer à mieux organiser leurs données dans le but de permettre aux membres de l’équipe de trouver et d’utiliser plus facilement ce dont ils ont besoin.

Définir des politiques de gouvernance des données

L’introduction d’une politique de gouvernance des données peut contribuer à améliorer ce défi à long terme. Cette politique doit couvrir la manière dont toutes les données entrantes sont examinées et offrir des directives claires sur ce qui doit être conservé (et organisé pour maintenir une gestion claire des données), archivé ou détruit. Une partie importante de cette politique consiste à définir clairement quelles données doivent être détruites et à quel moment. Mettre en œuvre une gouvernance des données et réviser régulièrement les pratiques permet de réduire la quantité de dark data qui ne seront jamais exploitées.

Utiliser les outils de ML et d’IA pour analyser les données

Pour faciliter la découverte des dark data, le machine learning (ML) et l’intelligence artificielle (IA) peuvent faire le gros du travail de catégorisation des dark data en analysant les données susceptibles de contenir des informations précieuses. En outre, l’automatisation du ML peut contribuer à la conformité aux réglementations en matière de confidentialité des données en masquant automatiquement les informations sensibles des données stockées.