Gestión de datos aumentada: tejido de datos versus malla de datos

El tejido de datos y la malla de datos son conceptos emergentes de gestión de datos destinados a abordar el cambio organizativo y las complejidades de comprender, gobernar y trabajar con datos empresariales en un ecosistema multicloud híbrido. La buena noticia es que ambos conceptos de arquitectura de datos son complementarios. Pero, ¿qué son exactamente un tejido de datos y una malla de datos, y cómo puede utilizar estas soluciones de gestión de datos para aprovechar los datos de su empresa y tomar mejores decisiones?

Gartner define un tejido de datos como “un concepto de diseño que sirve como una capa integrada de datos y procesos de conexión. Un tejido de datos utiliza análisis continuos sobre metadatos existentes, detectables e inferenciados para respaldar el diseño, la implementación y la utilización de conjuntos de datos integrados y reutilizables en todos los entornos, incluidas las plataformas híbridas y multinube”. [1]

El método arquitectónico del tejido de datos puede simplificar el acceso a datos en una organización y facilitar el auto consumo de datos a escala. Este enfoque rompe los silos de datos, lo que permite nuevas oportunidades para dar forma al gobierno de datos, la integración de datos, las vistas únicas de los clientes y las implementaciones de IA fiables, entre otros casos de uso comunes del sector.

Dado que se basa exclusivamente en metadatos, la capa de abstracción de un tejido de datos facilita el modelado, la integración y la consulta de cualquier fuente de datos, la creación de pipelines de datos y la integración de datos en tiempo real. Un tejido de datos también agiliza la obtención de conocimientos a partir de los datos a través de una mejor observabilidad y calidad de los datos mediante la automatización de tareas manuales en todas las plataformas de datos con machine learning. Esto mejora la productividad de la ingeniería de datos y el tiempo de obtención de valor para los consumidores de datos.

Según Forrester, “una malla de datos es un enfoque sociotécnico descentralizado para compartir, acceder y gestionar datos analíticos en entornos complejos y a gran escala, dentro o entre organizaciones que lo utilizan”. [2]

La arquitectura de malla de datos es un enfoque que alinea las fuentes de datos por dominios empresariales, o funciones, con los propietarios de los datos. Con la descentralización de la propiedad de los datos, los propietarios de datos pueden crear productos de datos para sus respectivos dominios, lo que significa que los consumidores de datos, tanto científicos de datos como usuarios empresariales, pueden utilizar una combinación de estos productos de datos para el análisis y la ciencia de datos.

El valor del enfoque de malla de datos es que traslada la creación de productos de datos a expertos en la materia que conocen mejor los dominios empresariales en lugar de confiar en ingenieros de datos para limpiar e integrar productos de datos en sentido descendente.

Además, la malla de datos acelera la reutilización de los productos de datos al permitir un modelo de publicación y suscripción y aprovechar las API, lo que facilita a los consumidores de datos obtener los productos que necesitan, incluidas actualizaciones fiables.

El tejido de datos y la malla de datos pueden coexistir. De hecho, hay tres formas en que un tejido de datos permite la implementación de una malla de datos:

1. Proporciona a los propietarios de datos capacidades de creación de productos de datos, como catalogar activos, transformar activos en productos y seguir políticas de gobierno federadas
2. Permita a los propietarios y consumidores de datos utilizar los productos de diversas maneras, como publicar productos de datos en el catálogo, buscar y encontrar productos y consultar o visualizar productos de datos aprovechando la virtualización de datos o mediante API.
3. Utilice los conocimientos de los metadatos del tejido de datos para automatizar tareas aprendiendo de patrones como parte del proceso de creación de productos de datos o como parte del proceso de monitorización de productos relacionados

 Cuando se trata de gestión de datos, un tejido proporciona las capacidades necesarias para implementar y aprovechar al máximo una malla de datos mediante la automatización de muchas de las tareas necesarias para crear productos de datos y gestionar el ciclo de vida de los productos. Al utilizar la flexibilidad de una base de tejido de datos, puede implementar una malla y seguir beneficiándose de las ventajas de una arquitectura de datos centrada en casos de uso, independientemente de si sus datos se encuentran on premises o en la nube.