¿Qué es el descubrimiento de datos?

Durante el descubrimiento de datos, los profesionales de datos identifican y extraen datos sin procesar de las bases de datos, aplicaciones, archivos internos y otros repositorios de una organización. Examinan las características de los datos, el formato, el linaje, la calidad y los usos potenciales de los datos, un proceso llamado perfilado de datos, sentando las bases para una ingestión exitosa de los datos. Los insights obtenidos durante el proceso de descubrimiento de datos se utilizan para informar y optimizar las decisiones empresariales en áreas como las estrategias de marketing, las experiencias del cliente y las operaciones de la cadena de suministro.

El análisis exploratorio de datos (EDA) es un enfoque ampliamente utilizado para el descubrimiento de datos. En el EDA, se despliegan métodos y algoritmos estadísticos para investigar conjuntos de datos y resumir sus principales características. Estos hallazgos ayudan a los científicos de datos a determinar la mejor manera de manipular las fuentes de datos para obtener insights valiosos.

Además de ayudar a las organizaciones a identificar y aprovechar todas sus fuentes de datos, el descubrimiento de datos también mejora la seguridad de los datos, aumenta su precisión y favorece el cumplimiento de determinadas normativas de privacidad de datos. Cuando se complementa con técnicas de inteligencia artificial (IA) y machine learning (ML), puede proporcionar a las organizaciones una mayor visibilidad y control sobre sus activos de datos.

A primera vista, el descubrimiento de datos y el análisis de datos pueden parecer sinónimos. Sin embargo, son procesos de gestión de datos distintos que funcionan mejor cuando se usan juntos.

El descubrimiento de datos suele ocurrir primero. Es una fase exploratoria que ayuda a las organizaciones a localizar y comprender todos los datos disponibles, incluida la información que está en silos u oculta. Es posible que los analistas no sepan exactamente qué datos están buscando en esta etapa.

Una vez que encuentran los datos, pueden comenzar el análisis de datos. Este proceso implica el uso de técnicas y consultas específicas para interpretar los datos y descubrir insights significativos.

Considere esta analogía: el descubrimiento de datos es similar a buscar ingredientes en su cocina, incluidos los ocultos en la parte posterior del gabinete. El análisis de datos utiliza los ingredientes que se encontraron para crear una comida nutritiva y de alta calidad. Cuanto más exhaustivo sea el descubrimiento, mejores serán los resultados.

Los datos son críticos para las empresas modernas. Cada día recopilan enormes cantidades de información procedente de un ecosistema de fuentes en expansión que abarca departamentos, unidades de negocio y zonas geográficas. Estos datos los manejan varios usuarios y se almacenan en repositorios de datos dispares y los dispositivos de los empleados.

Pero cuando los datos están en todas partes, se vuelve más difícil encontrarlos, acceder a ellos y usarlos. De hecho, se estima que el 68 % de los datos empresariales no se utiliza. No analizar todos los tipos de datos se deriva en insights perdidos y oportunidades inexploradas. Por ejemplo, ¿qué pasaría si la clave para mejorar la retención del cliente estuviera oculta en las notas de las reuniones y los hilos de correo electrónico, pero el equipo de ventas solo se basara en los datos de su sistema de gestión de relaciones con los clientes (CRM)?

No saber qué datos tiene y dónde residen también expone a la organización a riesgos, como el incumplimiento de la creciente lista de regulaciones de privacidad de datos que rigen los datos personales. Sin embargo, el descubrimiento de datos es tanto una preocupación de privacidad de datos como de la seguridad de estos. Si no sabe dónde están sus datos confidenciales, tampoco puede protegerlos adecuadamente.  

El descubrimiento de datos ayuda a las organizaciones a explorar y aprovechar todos los datos disponibles, lo que respalda los siguientes beneficios:

• Toma de decisiones mejorada
• Mayor precisión y calidad de los datos
• Seguridad reforzada de los datos
• Cumplimiento riguroso

Los datos no descubiertos y no gestionados, a menudo denominados datos ocultos, representan un riesgo significativo para la seguridad, especialmente cuando contienen información confidencial. Según el Informe del costo de una filtración de datos 2024 de IBM, las filtraciones de datos que involucran datos ocultos representan un tercio de todos los incidentes y cuestan 5.27 millones de dólares en promedio, un 16 % más que el costo promedio de filtración calculado en el informe.

Para proteger todos los datos de la organización, es fundamental comprender cómo y dónde ingresan a la red, y cómo y dónde se comparten y almacenan. Por lo tanto, los procesos sólidos de descubrimiento de datos son elementos cruciales tanto de la seguridad como de la protección de datos. El uso de IA y ML para entrenar sistemas para identificar automáticamente los archivos que contienen datos confidenciales puede impulsar aún más estos esfuerzos.

Las prácticas de descubrimiento de datos también pueden ayudar a reducir la superficie de ataque general de una organización. Una superficie de ataque son todas las vulnerabilidades, vías o métodos de una organización que los hackers pueden utilizar para obtener acceso no autorizado a datos confidenciales o lanzar un ataque cibernético. Mediante el descubrimiento de datos, se eliminan los datos no utilizados o duplicados, quedando solo los datos sensibles más necesarios. Las organizaciones pueden entonces priorizar y adaptar las medidas de seguridad de los datos a estos activos críticos.

El descubrimiento de datos es una combinación de procesos técnicos, herramientas y estrategias que se pueden agrupar en los siguientes pasos:

• Alcance de los objetivos
• Recopilación e integración de datos
• Data preparation
• Visualización de datos
• Análisis de datos

Este primer paso suele implicar la definición de los objetivos del proceso de descubrimiento de datos. Estos objetivos deben alinearse con la estrategia general de datos de la organización. Aquí, los altos ejecutivos y líderes de la unidad de negocio trabajan juntos para determinar qué insights quieren encontrar, lo que ayuda a guiar la exploración de datos.

A continuación, los datos se recopilan de diversas fuentes con métodos de extracción, como consultar bases de datos, extraer archivos remotos o recuperar datos a través de interfaces de programación de aplicaciones (API). Los datos recopilados se ingieren, integran y transforman en un formato unificado y congruente para residir en un catálogo de datos (un inventario detallado de los activos de datos dentro de una organización).

Una vez recopilados y combinados, los datos se someten a varios procesos de control de calidad para ayudar a garantizar que los datos estén libres de errores, incongruencias y otros problemas de integridad de datos. Esta preparación puede incluir validación de datos, limpieza de datos y técnicas de estandarización.

Los equipos de datos pueden crear representaciones visuales de los datos preparados, como gráficos, tablas, paneles e infografías, que muestran relaciones de datos complejas en interfaces fáciles de usar.

Las herramientas de visualización de datos pueden incluso admitir analytics de autoservicio. Estas herramientas permiten a los usuarios no técnicos acceder y analizar visualizaciones, lo que ayuda a impulsar la toma de decisiones basada en datos. Los analytics avanzados también se pueden aplicar en esta etapa, que utilizan modelado predictivo y otras técnicas sofisticadas para generar pronósticos.

A lo largo del proceso, una sólida gobernanza de datos ayuda a garantizar la integridad y  la seguridad de los datos. Define e implementa las políticas, estándares y procedimientos para la recopilación, propiedad, almacenamiento, procesamiento y uso de datos.

El uso de IA, ML y procesamiento de lenguaje natural (PLN) en el descubrimiento de datos agrega velocidad e inteligencia al proceso. Estas tecnologías brindan a las organizaciones mayor visibilidad y control sobre sus datos. Los ejemplos clave y casos de uso incluyen:

• Descubrimiento automatizado de datos: estas herramientas escanean automáticamente dispositivos de red y sistemas de almacenamiento de datos, indexando nuevos datos y metadatos casi en tiempo real para una identificación más rápida de los activos.
  
  
• Clasificación automatizada de datos: esta funcionalidad automatiza el etiquetado de nuevos datos basándose en reglas predefinidas, como niveles de confidencialidad, controles de acceso a los datos y reglas de cumplimiento normativo.
  
  
• Búsqueda inteligente: la búsqueda impulsada por IA usa PNL para interpretar las consultas de búsqueda del usuario, comprender la intención y luego ofrecer resultados de datos relevantes. Los asistentes de IA pueden proporcionar una guía intuitiva en lenguaje natural.
  
  
• PNL para datos no estructurados: las herramientas de PNL, incluidos los modelos de lenguaje grandes (LLM), pueden extraer datos estructurados de fuentes de datos no estructuradas, como documentos, correos electrónicos y transcripciones de chats.

La integración de IA, ML y PLN en los flujos de trabajo de descubrimiento de datos acelera el tiempo de obtención de insights, aumenta la precisión y puede ayudar a fortalecer el cumplimiento normativo. A medida que los volúmenes de datos continúen creciendo, el descubrimiento de datos impulsado por IA se convertirá en una capacidad esencial y una ventaja competitiva.