¿Qué son los datos oscuros?

Hoy en día, la mayoría de las empresas almacenan grandes cantidades de datos oscuros. En la encuesta de investigación global de Splunk a más de 1300 responsables de la toma de decisiones empresariales y de TI, el 60 por ciento de los encuestados informaron que la mitad o más de los datos de su organización se consideran oscuros. Un tercio de los encuestados informó que esta cantidad era del 75 por ciento o más.²

Los datos oscuros se acumulan porque las organizaciones han adoptado la idea de que es valioso almacenar toda la información que puedan capturar en big data lakes. Esto se debe en parte a la llegada del almacenamiento económico, que ha facilitado la justificación del almacenamiento de tantos datos, en caso de que algún día se vuelvan valiosos.

Al final, la mayoría de las empresas nunca utilizan ni siquiera una fracción de lo que almacenan porque el depósito de almacenamiento no documenta adecuadamente las etiquetas de metadatos, algunos de los datos están en un formato que las herramientas integradas no pueden leer o los datos no se pueden recuperar mediante una consulta.

Los datos oscuros son un factor limitante importante para producir un buen análisis de datos, ya que la calidad de cualquier análisis de datos depende del cuerpo de información accesible a las herramientas de análisis, tanto con prontitud como con todo detalle.

Otros problemas con los datos oscuros son que generan responsabilidades, importantes costes de almacenamiento y pérdida de oportunidades debido a que los equipos no se dan cuenta de los datos que pueden tener a su disposición.

Existen numerosas causas para que los datos de una organización se vuelvan oscuros, entre ellas:

• Falta de conciencia: los datos obtenidos en el transcurso de las operaciones comerciales normales a menudo se ocultan porque las organizaciones desconocen su existencia o no entienden su valor o relevancia.
  
  
• Datos atascados en silos: cuando diferentes departamentos dentro de una organización recopilan y almacenan datos de forma independiente, puede provocar la fragmentación y el aislamiento de los datos. Estos silos de datos pueden no ser accesibles o visibles para otros equipos, que podrían encontrar los datos bastante valiosos.
  
  
• Falta de gobierno de datos: sin un marco sólido de gobierno de datos , las organizaciones pueden tener dificultades para gestionar y rastrear los datos en todo su ecosistema de manera efectiva. Esto hace que los datos se desorganicen, se pierdan y se vuelvan inutilizables.
  
  
• Sistemas heredados: a medida que las organizaciones actualizan su software y hardware, los sistemas más antiguos pueden retirarse o perder relevancia. Los datos almacenados en estos sistemas heredados se vuelven oscuros si no pueden integrarse con las modernas herramientas de análisis de la organización.
  
  
• Integración de datos incompleta: los procesos de integración de datos incompletos o ineficaces pueden dar lugar a lagunas e incoherencias en los datos. Esto puede dejar ciertos conjuntos de datos inaccesibles o no estar correctamente enlazados a otras fuentes de datos.
  
  
• Cambio de las prioridades empresariales: a medida que evolucionan las prioridades empresariales, ciertos conjuntos de datos pueden volverse menos relevantes o desenfocarse. Los datos que antes se utilizaban de manera activa pueden quedar en la oscuridad a medida que cambian los objetivos de la organización.
  
  
• Recursos limitados y alfabetización: las organizaciones con recursos limitados pueden priorizar la recopilación y el almacenamiento de datos sobre el análisis de datos. Además, una alfabetización en materia de datos insuficiente entre los empleados puede dificultar el descubrimiento y la utilización de datos valiosos.
  
  
• Problemas de calidad de los datos: la mala calidad de los datos, como los datos inexactos o incompletos, puede hacer que los datos se descarten o se ignoren. Es menos probable que se utilicen los datos percibidos como poco fiables, lo que los vuelve oscuros.
  
  
• Propósitos de cumplimiento normativo: muchas normas de cumplimiento y gobierno obligan a las organizaciones a seguir regulaciones estrictas sobre cuánto tiempo deben almacenar datos confidenciales. A menudo terminan almacenándolos mucho después del periodo obligatorio porque no hacen un seguimiento de los datos confidenciales que deben destruirse.
  
  
• Datos redundantes, obsoletos y triviales (ROT):  los ROT se crean cuando los empleados guardan varias copias de la misma información, información obsoleta e información superflua que no ayuda a la organización a cumplir sus objetivos.

En términos de su detectabilidad para iniciativas de análisis de datos oportunas y completas, los datos oscuros pueden ser datos estructurados, datos no estructurados o datos semiestructurados.

Los datos estructurados son información que se añade a campos de hojas de cálculo o bases de datos claramente definidos antes de ser almacenados.

Los archivos de registro del servidor, los datos de sensores del Internet de las cosas (IoT) , las bases de datos de gestión de la relación con el cliente (CRM) y los sistemas de planificación de recursos empresariales (ERP) son ejemplos de datos oscuros creados a partir de fuentes de datos estructurados.

Aunque la mayoría de los datos confidenciales, como los extractos bancarios electrónicos, los historiales médicos y los datos cifrados de los clientes, suelen estar estructurados, es difícil verlos y categorizarlos debido a problemas de permisos.

A diferencia de los datos estructurados, los datos no estructurados incluyen información que no se puede organizar en bases de datos u hojas de cálculo para su análisis sin conversión, codificación, jerarquización y estructuración.

Las correspondencias por correo electrónico, los archivos PDF, los documentos de texto, las publicaciones en redes sociales, las grabaciones de los call centers, los registros de chat y las imágenes de videovigilancia son ejemplos de datos oscuros creados a partir de fuentes de datos no estructurados.

Los datos semiestructurados son datos no estructurados que contienen información en campos de datos definidos. Aunque no tienen la misma facilidad de detección de datos oscuros que los datos estructurados, se pueden buscar o catalogar.

Los ejemplos incluyen código HTML, facturas, gráficos, tablas y documentos XML.

Los costes de almacenamiento de los datos oscuros pueden ser significativos y superar con creces el coste financiero directo del almacenamiento de datos oscuros. Los costes directos e indirectos incluyen:

A veces se crean datos oscuros debido a problemas de calidad de los datos.

Por ejemplo, se genera automáticamente una transcripción de una grabación de audio, pero la IA que creó la transcripción comete algunos errores. Sin embargo, alguien guarda la transcripción, pensando que la arreglará en algún momento, lo que nunca hace.

Cuando las organizaciones intentan limpiar datos de mala calidad, a veces pasan por alto la causa del problema. Sin la comprensión adecuada, es imposible garantizar que el problema de la calidad de los datos no seguirá produciéndose en el futuro.

Esta situación pasa entonces a ser cíclica, porque en lugar de simplemente emplear políticas de eliminación de datos oscuros que permanecen ahí sin usarse nunca, las organizaciones dejan que sigan en pie y contribuyen a un creciente problema de calidad de los datos.

Afortunadamente, hay tres pasos para la gestión de la calidad de los datos que las organizaciones pueden tomar para ayudar a aliviar este problema:

1. Analice e identifique la situación "tal cual": para priorizar los problemas, primero identifique todos los problemas actuales, los estándares de datos existentes y el impacto en el negocio.
   
   
2. Evite que se repitan los datos erróneos:  a continuación, evalúe la causa raíz de cada problema y aplique recursos para abordar el problema de forma sostenible para que no vuelva a ocurrir.
   
   
3. Comuníquese a menudo en el camino: comparta lo que está sucediendo, lo que está haciendo el equipo, el impacto de ese trabajo y cómo esos esfuerzos se conectan con los objetivos empresariales.

A pesar de todos los costes y problemas de calidad de los datos oscuros, hay ventajas. Como dice Splunk, "los datos oscuros pueden ser uno de los mayores recursos sin explotar de una organización"^3.

Al adoptar un enfoque proactivo para gestionar los datos oscuros, las organizaciones pueden arrojar luz sobre los mismos. Esto no solo reduce las responsabilidades y los costes, sino que también proporciona a los equipos los recursos que necesitan para descubrir conocimientos a partir de datos ocultos.

Cuando se trata de manejar datos oscuros y potencialmente usarlos para tomar mejores decisiones basadas en datos, hay varias buenas prácticas a seguir:

Los datos oscuros a menudo surgen debido a silos dentro de la organización. Un equipo crea datos que podrían ser útiles para otro, pero ese otro equipo no lo sabe. La ruptura de esos silos hace que esos datos estén disponibles para el equipo que los necesita. Pasan de no hacer nada a proporcionar un valor inmenso.

Es importante comprender qué datos existen dentro de la organización. Este esfuerzo comienza clasificando todos los datos dentro para obtener una visión completa y precisa. A partir de ahí, los equipos pueden empezar a organizar mejor sus datos con el objetivo de facilitar a las personas de los equipos la búsqueda y el uso de lo que necesitan.

La introducción de una política de gobierno de datos puede ayudar a mejorar el reto a largo plazo. Esta política debe cubrir cómo se revisan todos los datos entrantes y ofrecer pautas claras sobre lo que debe conservarse (y organizarse para mantener una gestión de datos clara), archivarse o destruirse. Una parte importante de esta política es ser estricto sobre qué datos deben destruirse y cuándo. La aplicación del gobierno de datos y la revisión periódica de las prácticas pueden ayudar a minimizar la cantidad de datos oscuros que nunca se utilizarán.

Para ayudar a descubrir datos oscuros, el machine learning (ML) y la inteligencia artificial (IA) pueden hacer el trabajo pesado de categorizar los datos oscuros mediante el análisis de datos que pueden contener conocimientos valiosos. Además, la automatización del ML puede ayudar con las regulaciones de cumplimiento de privacidad de datos al redactar automáticamente la información confidencial de los datos almacenados.