¿Qué son los datos oscuros?

Existen numerosas causas para que los datos de una organización se oscurezcan, entre ellas:

• Falta de conocimiento: los datos obtenidos en el curso de las operaciones comerciales normales a menudo se oscurecen porque las organizaciones desconocen su existencia o no entienden su valor o relevancia.
  
  
• Datos atrapados en silos: cuando diferentes departamentos dentro de una organización recopilan y almacenan datos de forma independiente, esto puede provocar la fragmentación y el aislamiento de los datos. Es posible que estos silos de datos no sean accesibles o visibles para otros equipos, quienes potencialmente encontrarían los datos bastante valiosos.
  
  
• Falta de gobernanza de datos: sin un marco estable de  gobernanza de datos, las organizaciones pueden tener dificultades para gestionar y rastrear los datos en todo su ecosistema de manera efectiva. Esto hace que los datos se desorganicen, se pierdan y queden inutilizables.
  
  
• Sistemas heredados:  a medida que las organizaciones actualizan su software y hardware, los sistemas más antiguos pueden retirarse o volver menos relevantes. Los datos almacenados en estos sistemas heredados se oscurecen si no se pueden integrar con las herramientas de analytics modernas de la organización.
  
  
• Integración de datos incompleta: los procesos de integración de datos incompletos o ineficaces pueden generar lagunas e inconsistencias en los datos. Esto puede dejar ciertos conjuntos de datos inaccesibles o no vinculados correctamente a otras fuentes de datos.
  
  
• Cambio de las prioridades empresariales: a medida que evolucionan las prioridades empresariales, ciertos conjuntos de datos pueden volverse menos relevantes o quedar fuera de foco. Los datos que alguna vez se emplearon activamente pueden quedar en la oscuridad a medida que cambian los objetivos de la organización.
  
  
• Recursos limitados y alfabetización: las organizaciones con recursos limitados pueden priorizar la recopilación y el almacenamiento de datos sobre el análisis de datos. Además, la alfabetización de datos insuficiente entre los empleados puede obstaculizar el descubrimiento y la utilización de datos valiosos.
  
  
• Problemas de calidad de los datos: Una mala calidad de los datos, como datos inexactos o incompletos, puede hacer que se descarten o ignoren. Los datos percibidos como poco fiables tienen menos probabilidades de usarse, lo que los convierte en oscuros.
  
  
• Propósitos de cumplimiento normativo: muchas normas de cumplimiento y gobernanza obligan a las organizaciones a seguir regulaciones estrictas sobre cuánto tiempo deben almacenar datos confidenciales. A menudo terminan almacenándolo mucho después del periodo obligatorio porque no pueden realizar un seguimiento de los datos confidenciales que deben destruir.
  
  
• Datos redundantes, obsoletos y triviales (ROT): el ROT se crea cuando los empleados almacenan varias copias de la misma información, información obsoleta e información superflua que no ayuda a la organización a cumplir sus objetivos.

En términos de su detectabilidad para iniciativas de analytics de datos oportunas y completas, los datos oscuros pueden ser datos estructurados, datos no estructurados o datos semiestructurados.   

Los datos estructurados son información que se agrega a campos de hojas de cálculo o bases de datos claramente definidos antes del almacenamiento.

Los archivos de registro del servidor, los datos de sensores de Internet de las cosas (IoT), las bases de datos de gestión de relaciones con los clientes (CRM) y los sistemas de planeación de recursos empresariales (ERP) son ejemplos de datos oscuros creados a partir de fuentes de datos estructurados.

Aunque la mayoría de las formas de datos confidenciales, como los extractos bancarios electrónicos, los registros médicos y los datos cifrados de los clientes, suelen estar en forma estructurada, son difíciles de ver y categorizar debido a problemas de permisos.

A diferencia de los datos estructurados, los datos no estructurados incluyen información que no se puede organizar en bases de datos u hojas de cálculo para su análisis sin conversión, codificación, organización en niveles y estructuración.

Las correspondencias por correo electrónico, los archivos PDF, los documentos de texto, las publicaciones en redes sociales, las grabaciones de centros de atención telefónica, los registros de chat y las imágenes de video de vigilancia son ejemplos de datos oscuros creados a partir de fuentes de datos no estructuradas.

Los datos semiestructurados son datos no estructurados que contienen cierta información en campos de datos definidos. Aunque no tiene la misma facilidad de descubrimiento de datos oscuros que los datos estructurados, se pueden buscar o catalogar.

Algunos ejemplos son el código HTML, las facturas, los gráficos, las tablas y los documentos XML.

A veces, los datos oscuros se crean debido a problemas de calidad de los datos.

Por ejemplo, una transcripción de una grabación de audio se genera automáticamente, pero la IA que creó la transcripción comete algunos errores en la transcripción. Sin embargo, alguien se queda con la transcripción, pensando que la resolverá en algún momento, cosa que nunca hace.

Cuando las organizaciones intentan limpiar datos de mala calidad, a veces pasan por alto lo que está causando el problema. Sin la comprensión adecuada, es imposible garantizar que el problema de la calidad de los datos no continúe ocurriendo en el futuro.

Esta situación se vuelve cíclica, porque en lugar de simplemente emplear políticas de eliminación para datos oscuros que se quedan sin usar, las organizaciones dejan que continúen ahí y contribuyan a un creciente problema de calidad de los datos.

Afortunadamente, hay tres pasos para la gestión de la calidad de los datos que las organizaciones pueden tomar para ayudar a aliviar este problema:

1. Analice e identifique la situación "tal cual": para priorizar los problemas, primero identifique todos los problemas actuales, los estándares de datos existentes y el impacto en el negocio.
   
   
2. Prevenir que los datos malos se repitan: a continuación, evalúe la causa principal de cada problema y aplique recursos para abordar el problema de manera sostenible para que no vuelva a suceder.
   
   
3. Comuníquese a menudo en el camino: comparta lo que está sucediendo, lo que está haciendo el equipo, el impacto de ese trabajo y cómo esos esfuerzos se conectan con los objetivos del negocio.

A pesar de los costos y los problemas de calidad de los datos oscuros, hay aspectos positivos. Como dice Splunk, "los datos oscuros pueden ser uno de los mayores recursos sin explotar de una organización".³

Al adoptar un enfoque proactivo para gestionar los datos oscuros, las organizaciones pueden arrojar luz sobre los datos oscuros. Esto no solo reduce las responsabilidades y los costos, sino que también brinda a los equipos los recursos que necesitan para descubrir insights a partir de datos ocultos.

Cuando se trata de manejar datos oscuros y quizá usarlos para tomar mejores decisiones basadas en datos, existen varias mejores prácticas a seguir:

Rompa los silos

Los datos oscuros a menudo se deben a los silos dentro de la organización. Un equipo crea datos que podrían ser útiles para otro, pero ese otro equipo no lo sabe. Al descomponer esos silos, esos datos están disponibles para el equipo que los necesita. Pasa de quedarse sin uso a proporcionar un valor inmenso.

Mejore la gestión de datos

Es importante comprender qué datos existen dentro de la organización. Este esfuerzo comienza clasificando todos los datos dentro de la organización para obtener una visión completa y precisa. Desde allí, los equipos pueden comenzar a organizar mejor sus datos con el objetivo de que sea más fácil para las personas de los equipos encontrar y usar lo que necesitan.

Establezca políticas de gobernanza de datos

La introducción de una política de gobernanza de datos puede ayudar a mejorar el desafío a largo plazo. Esta política debe cubrir cómo se revisan todos los datos que ingresan y ofrecer pautas claras sobre lo que debe conservar (y organizar para mantener una gestión de datos clara), archivar o destruir. Una parte importante de esta política es ser estricto sobre qué datos deben destruirse y cuándo. Hacer cumplir la gobernanza de datos y revisar periódicamente las prácticas puede ayudar a minimizar la cantidad de datos oscuros que nunca se emplearán.

Emplee herramientas de ML e IA para analizar datos

Para ayudar a descubrir los datos oscuros, el machine learning (ML) y la inteligencia artificial (IA) pueden hacer el trabajo pesado de categorizar los datos oscuros mediante la realización de análisis de datos que pueden contener insights valiosos. Además, la automatización de ML puede ayudar con las regulaciones de cumplimiento de privacidad de datos mediante la redacción automática de información confidencial de los datos almacenados.