El descubrimiento de datos es el proceso de recopilar, evaluar y explorar datos de múltiples fuentes dispares. Ayuda a las organizaciones a descubrir datos ocultos o en silos, asegurando que ninguna información valiosa pase desapercibida o quede sin analizarse.
Durante el descubrimiento de datos, los profesionales de datos identifican y extraen datos sin procesar de las bases de datos, aplicaciones, archivos internos y otros repositorios de una organización. Examinan las características de los datos, el formato, el linaje, la calidad y los usos potenciales de los datos, un proceso llamado perfilado de datos, sentando las bases para una ingestión exitosa de los datos. Los insights obtenidos durante el proceso de descubrimiento de datos se utilizan para informar y optimizar las decisiones empresariales en áreas como las estrategias de marketing, las experiencias del cliente y las operaciones de la cadena de suministro.
El análisis exploratorio de datos (EDA) es un enfoque ampliamente utilizado para el descubrimiento de datos. En el EDA, se despliegan métodos y algoritmos estadísticos para investigar conjuntos de datos y resumir sus principales características. Estos hallazgos ayudan a los científicos de datos a determinar la mejor manera de manipular las fuentes de datos para obtener insights valiosos.
Además de ayudar a las organizaciones a identificar y aprovechar todas sus fuentes de datos, el descubrimiento de datos también mejora la seguridad de los datos, aumenta su precisión y favorece el cumplimiento de determinadas normativas de privacidad de datos. Cuando se complementa con técnicas de inteligencia artificial (IA) y machine learning (ML), puede proporcionar a las organizaciones una mayor visibilidad y control sobre sus activos de datos.
Únase a los líderes de seguridad que confían en el boletín Think para obtener noticias seleccionadas sobre IA, ciberseguridad, datos y automatización. Aprende rápido con tutoriales de expertos y documentos explicativos, que se envían directamente a su bandeja de entrada. Consulte la Declaración de privacidad de IBM.
A primera vista, el descubrimiento de datos y el análisis de datos pueden parecer sinónimos. Sin embargo, son procesos de gestión de datos distintos que funcionan mejor cuando se usan juntos.
El descubrimiento de datos suele ocurrir primero. Es una fase exploratoria que ayuda a las organizaciones a localizar y comprender todos los datos disponibles, incluida la información que está en silos u oculta. Es posible que los analistas no sepan exactamente qué datos están buscando en esta etapa.
Una vez que encuentran los datos, pueden comenzar el análisis de datos. Este proceso implica el uso de técnicas y consultas específicas para interpretar los datos y descubrir insights significativos.
Considere esta analogía: el descubrimiento de datos es similar a buscar ingredientes en su cocina, incluidos los ocultos en la parte posterior del gabinete. El análisis de datos utiliza los ingredientes que se encontraron para crear una comida nutritiva y de alta calidad. Cuanto más exhaustivo sea el descubrimiento, mejores serán los resultados.
Los datos son críticos para las empresas modernas. Cada día recopilan enormes cantidades de información procedente de un ecosistema de fuentes en expansión que abarca departamentos, unidades de negocio y zonas geográficas. Estos datos los manejan varios usuarios y se almacenan en repositorios de datos dispares y los dispositivos de los empleados.
Pero cuando los datos están en todas partes, se vuelve más difícil encontrarlos, acceder a ellos y usarlos. De hecho, se estima que el 68 % de los datos empresariales no se utiliza. No analizar todos los tipos de datos se deriva en insights perdidos y oportunidades inexploradas. Por ejemplo, ¿qué pasaría si la clave para mejorar la retención del cliente estuviera oculta en las notas de las reuniones y los hilos de correo electrónico, pero el equipo de ventas solo se basara en los datos de su sistema de gestión de relaciones con los clientes (CRM)?
No saber qué datos tiene y dónde residen también expone a la organización a riesgos, como el incumplimiento de la creciente lista de regulaciones de privacidad de datos que rigen los datos personales. Sin embargo, el descubrimiento de datos es tanto una preocupación de privacidad de datos como de la seguridad de estos. Si no sabe dónde están sus datos confidenciales, tampoco puede protegerlos adecuadamente.
El descubrimiento de datos ayuda a las organizaciones a explorar y aprovechar todos los datos disponibles, lo que respalda los siguientes beneficios:
Al revelar datos sin explotar, el descubrimiento de datos proporciona nuevas vías para la exploración de datos. Los stakeholders pueden encontrar patrones y correlaciones ocultos, insights aplicables en la práctica y nuevas tendencias del mercado. Como resultado, las empresas pueden tomar decisiones más informadas y optimizar el rendimiento para lograr la eficiencia operativa.
Con una visión integral del inventario de datos de la organización, a los analistas de datos les resulta más fácil identificar problemas de calidad de los datos, como datos incoherentes o valores atípicos en los conjuntos de datos. Lograr un mayor nivel de precisión puede ayudar a minimizar los falsos positivos y negativos durante la clasificación de datos.
El descubrimiento de datos ayuda a garantizar que todos los datos confidenciales dentro de una organización, como la información de identificación personal (PII) y la propiedad intelectual, se identifiquen y localicen. Esto facilita a los equipos de seguridad la aplicación de medidas de ciberseguridad personalizadas. (Para obtener más información, consulte: “Descubrimiento de datos en la seguridad de datos”).
Localizar dónde residen todos los datos puede ayudar a las organizaciones a comprender el linaje de datos y aplicar reglas específicas sobre protección, intercambio y acceso a información confidencial. Por ejemplo, el descubrimiento de datos puede ayudar a las organizaciones a determinar cuándo los datos están sujetos al Reglamento General de Protección de Datos (RGPD) o a la California Consumer Privacy Act (CCPA).
Los datos no descubiertos y no gestionados, a menudo denominados datos ocultos, representan un riesgo significativo para la seguridad, especialmente cuando contienen información confidencial. Según el Informe del costo de una filtración de datos 2024 de IBM, las filtraciones de datos que involucran datos ocultos representan un tercio de todos los incidentes y cuestan 5.27 millones de dólares en promedio, un 16 % más que el costo promedio de filtración calculado en el informe.
Para proteger todos los datos de la organización, es fundamental comprender cómo y dónde ingresan a la red, y cómo y dónde se comparten y almacenan. Por lo tanto, los procesos sólidos de descubrimiento de datos son elementos cruciales tanto de la seguridad como de la protección de datos. El uso de IA y ML para entrenar sistemas para identificar automáticamente los archivos que contienen datos confidenciales puede impulsar aún más estos esfuerzos.
Las prácticas de descubrimiento de datos también pueden ayudar a reducir la superficie de ataque general de una organización. Una superficie de ataque son todas las vulnerabilidades, vías o métodos de una organización que los hackers pueden utilizar para obtener acceso no autorizado a datos confidenciales o lanzar un ataque cibernético. Mediante el descubrimiento de datos, se eliminan los datos no utilizados o duplicados, quedando solo los datos sensibles más necesarios. Las organizaciones pueden entonces priorizar y adaptar las medidas de seguridad de los datos a estos activos críticos.
El descubrimiento de datos es una combinación de procesos técnicos, herramientas y estrategias que se pueden agrupar en los siguientes pasos:
Este primer paso suele implicar la definición de los objetivos del proceso de descubrimiento de datos. Estos objetivos deben alinearse con la estrategia general de datos de la organización. Aquí, los altos ejecutivos y líderes de la unidad de negocio trabajan juntos para determinar qué insights quieren encontrar, lo que ayuda a guiar la exploración de datos.
A continuación, los datos se recopilan de diversas fuentes con métodos de extracción, como consultar bases de datos, extraer archivos remotos o recuperar datos a través de interfaces de programación de aplicaciones (API). Los datos recopilados se ingieren, integran y transforman en un formato unificado y congruente para residir en un catálogo de datos (un inventario detallado de los activos de datos dentro de una organización).
Una vez recopilados y combinados, los datos se someten a varios procesos de control de calidad para ayudar a garantizar que los datos estén libres de errores, incongruencias y otros problemas de integridad de datos. Esta preparación puede incluir validación de datos, limpieza de datos y técnicas de estandarización.
Los equipos de datos pueden crear representaciones visuales de los datos preparados, como gráficos, tablas, paneles e infografías, que muestran relaciones de datos complejas en interfaces fáciles de usar.
Las herramientas de visualización de datos pueden incluso admitir analytics de autoservicio. Estas herramientas permiten a los usuarios no técnicos acceder y analizar visualizaciones, lo que ayuda a impulsar la toma de decisiones basada en datos. Los analytics avanzados también se pueden aplicar en esta etapa, que utilizan modelado predictivo y otras técnicas sofisticadas para generar pronósticos.
A lo largo del proceso, una sólida gobernanza de datos ayuda a garantizar la integridad y la seguridad de los datos. Define e implementa las políticas, estándares y procedimientos para la recopilación, propiedad, almacenamiento, procesamiento y uso de datos.
El uso de IA, ML y procesamiento de lenguaje natural (PLN) en el descubrimiento de datos agrega velocidad e inteligencia al proceso. Estas tecnologías brindan a las organizaciones mayor visibilidad y control sobre sus datos. Los ejemplos clave y casos de uso incluyen:
La integración de IA, ML y PLN en los flujos de trabajo de descubrimiento de datos acelera el tiempo de obtención de insights, aumenta la precisión y puede ayudar a fortalecer el cumplimiento normativo. A medida que los volúmenes de datos continúen creciendo, el descubrimiento de datos impulsado por IA se convertirá en una capacidad esencial y una ventaja competitiva.