¿Qué es un catálogo de datos?

Un catálogo de datos es un inventario detallado de los activos de datos dentro de una organización. Ayuda a los usuarios a descubrir, comprender, gestionar, seleccionar y acceder fácilmente a los datos.

Mediante el uso de metadatos y herramientas de gestión de datos, los catálogos de datos organizan los activos de datos para que los usuarios, como analistas de datos, científicos de datos y administradores de datos, puedan encontrar rápidamente los datos adecuados para sus casos de uso analítico o empresarial. Muchos catálogos de datos admiten la búsqueda en lenguaje natural, lo que permite a los usuarios descubrir datos sin escribir código ni consultas SQL.

Los catálogos de datos suelen incluir una amplia gama de activos de datos, entre ellos:

• Datos estructurados (bases de datos, archivos de datos)
• Datos no estructurados (documentos, correos electrónicos, imágenes y vídeos)
• Informes y resultados de consultas
• Visualizaciones de datos (tablas, gráficos, infografías y paneles de control)
• Modelos de machine learning (ML)
• Conexiones entre bases de datos (relaciones entre datos y linaje)

Un catálogo de datos sólido también incluye capacidades de gestión de metadatos para recopilar y curar los metadatos de cada activo de datos. Estas características pueden facilitar la identificación, la evaluación y el uso eficaz de los datos. El catálogo también debe proporcionar herramientas de gobierno de datos para ayudar a salvaguardar la calidad de los datos, la integridad de los datos y la seguridad de los datos.

Los metadatos son los "datos sobre los datos". Es información sobre los datos independiente del contenido de los datos en sí, como el autor, la fecha de creación o el tamaño del archivo. Los metadatos facilitan la búsqueda, la organización y el uso de los datos.

Un ejemplo clásico de metadatos es el catálogo de tarjetas o el catálogo en línea de una biblioteca. En ellas, cada ficha o listado contiene información sobre un libro: título, autor, tema, fecha de publicación, edición, ubicación dentro de la biblioteca o sinopsis.

Esta información facilita a los lectores la búsqueda y evaluación del libro: ¿Está actualizado o desactualizado? ¿Tiene la información que busco? ¿Es el autor alguien en quien confío o cuyo trabajo disfruto? Del mismo modo, los metadatos facilitan a los usuarios de datos la búsqueda y evaluación de los datos de su organización.

Los distintos tipos de metadatos cumplen funciones diferentes. Los catálogos de datos suelen tratar varias clases de metadatos, entre los que se incluyen:

Normalmente, un catálogo de datos tiene herramientas de gestión de metadatos para seleccionar y enriquecer los metadatos con etiquetas, asociaciones, clasificaciones y anotaciones.

Las organizaciones modernas albergan entornos de datos cada vez más complejos. Los activos pueden proceder de varios entornos en la nube y sistemas en las instalaciones, así como de equipos, geografías y plataformas aislados. Un catálogo de datos facilita a cualquier usuario la búsqueda, evaluación y uso de todos estos datos con poca destreza técnica o esfuerzo.

Considera esta analogía: los sistemas de bibliotecas digitales ahorran a los lectores el tiempo y el esfuerzo de recorrer las estanterías en busca de un libro específico. Un catálogo de datos tiene una finalidad similar, ya que ayuda a los usuarios a encontrar rápidamente los datos que necesitan en lugar de tener que navegar por conjuntos de datos enormes y desorganizados. Un mejor acceso a datos mejora significativamente la eficiencia de las iniciativas de generación de conocimiento en toda la organización, del mismo modo que el catálogo de una biblioteca digital permite a los lectores llegar más rápido a la primera página.

Los catálogos de datos también desempeñan un papel crucial en el gobierno de datos, la mitigación de riesgos y el cumplimiento normativo, especialmente para evitar las infracciones. Las capacidades en este ámbito van desde la clasificación automatizada de datos confidenciales hasta las notificaciones cuando se detectan anomalías en los datos.

A través de los catálogos de datos, los profesionales de datos pueden acceder a los datos de forma independiente, sin depender de equipos de TI, ingenieros de datos o correr el riesgo de problemas de cumplimiento y gobernanza. Estos factores crean un entorno de datos ágil y autosuficiente que beneficia a toda la organización.

Los catálogos de datos y los diccionarios de datos tienen propósitos diferentes, pero trabajan juntos para hacer que los datos sean más utilizables.

Un catálogo de datos ofrece una visión general amplia de todos los activos de datos de una organización. Proporciona un contexto empresarial que ayuda a los usuarios a descubrir y evaluar conjuntos de datos.

Por el contrario, un diccionario de datos define la estructura y el contenido de conjuntos de datos individuales. Incluye detalles como nombres de campo, tipos de datos, valores permitidos, rangos y formatos. También garantiza que los campos de datos estén estandarizados en diferentes proyectos, archivos y programas de datos.

Los catálogos de datos proporcionan una variedad de beneficios que respaldan la detección de datos, el gobierno y el uso de datos en toda una organización, que incluyen:

• Análisis de datos acelerado
• eficiencia operativa
• Mejora de la toma de decisiones basada en datos
• Riesgo normativo reducido
• Mejora de los silos de datos

Los catálogos de datos permiten el análisis autoservicio, lo que facilita a los analistas de datos encontrar, acceder, preparar y confiar en los datos, acelerando así el proceso general de análisis de datos.

Al crear una división óptima del trabajo entre los usuarios y TI, los catálogos de datos reducen los cuellos de botella. Los ciudadanos de los datos pueden acceder a los datos y analizarlos de forma independiente, lo que permite a los equipos de TI centrarse en tareas estratégicas y de alta prioridad.

Con datos centralizados, contextuales y fiables al alcance de la mano, los profesionales de los datos pueden responder más rápido y tomar decisiones mejor informadas, lo que les ayuda a cumplir las métricas de inteligencia empresarial (BI) y big data.

Al promover, simplificar y automatizar el gobierno, los catálogos de datos proporcionan a los analistas la confianza de que están trabajando con los datos que están autorizados a utilizar, de conformidad con las normativas del sector y de protección de datos.

Los catálogos de datos pueden unificar grandes cantidades de datos aislados de todas las fuentes de datos de una organización (como almacenes de datos, data lakes y lakehouses de datos). Romper estos silos promueve una mayor accesibilidad a los datos y la colaboración entre los stakeholders.

Los catálogos de datos modernos ofrecen un amplio conjunto de herramientas y capacidades que ayudan a los consumidores de datos a encontrar, comprender y utilizar de forma responsable los datos de la empresa. Las características clave incluyen:

• Detección de datos: un catálogo de datos debe permitir a todos los usuarios de datos encontrar datos relevantes de forma rápida y sencilla. La experiencia de búsqueda debe ser intuitiva y fácil de usar, como la de Netflix, Amazon u otras plataformas de consumo.
  
  
• Gestión de metadatos: una gestión eficaz de los metadatos ayuda a mejorar la capacidad de búsqueda y descubrimiento de los catálogos de datos. Un catálogo de datos sólido mantiene los metadatos bien estructurados, accesibles y que se pueden ejecutar.
  
  
• Linaje de datos : a través de los metadatos, un catálogo de datos debe visualizar el ciclo de vida de los datos y ofrecer una visión transparente e integral de su origen, cómo han cambiado y su destino en el pipeline de datos.
  
  
• Gobierno de datos: un catálogo de datos sólido se integra de manera fluida con las políticas y herramientas de gobierno, incluidas las reglas de calidad de los datos, los glosarios empresariales y los flujos de trabajo.
  
  
• Creación de perfiles de datos: los catálogos de datos modernos incluyen herramientas de creación de perfiles que pueden revisar los datos y, a continuación, ayudar a mantener los estándares de calidad de los datos mediante procesos de limpieza y validación.
  
  
• Protección de datos: para ayudar a garantizar la seguridad de los datos y la protección de los datos confidenciales, un catálogo debe reforzar los controles de acceso y los permisos de usuario, lo que contribuye al cumplimiento de normas como el Reglamento General de Protección de Datos(RGPD).
  
  
• Integración de datos:  un catálogo de datos debe conectarse con el ecosistema de datos de una organización, incluidos los almacenes de datos, las herramientas de BI y otras plataformas, mediante rastreadores, conectores o interfaces de programación de aplicaciones (API).
  
  
• Apoyo a la inteligencia artificial (IA): los datos son clave para el éxito de los modelos de IA. Los catálogos de datos empresariales modernos ayudan a etiquetar y preparar conjuntos de datos para un rendimiento y transparencia óptimos del modelo.

Un catálogo de datos de IA utiliza tecnologías avanzadas como la automatización, la inteligencia artificial y el machine learning para mejorar y optimizar las funcionalidades tradicionales del catálogo de datos. Las características clave de un catálogo de datos de IA pueden incluir: