Una malla de datos es una arquitectura de datos descentralizada que organiza los datos por dominio empresarial, como marketing, ventas o servicio de atención al cliente. Los productores de datos de dominio tratan sus datos como un producto, lo que permite a los usuarios empresariales encontrar, comprender y utilizar fácilmente datos de toda la organización.
Este diseño orientado al dominio aborda muchos de los cuellos de botella operativos que se encuentran en los sistemas de datos centralizados y monolíticos. Sin embargo, la adopción de una malla de datos no hace que los sistemas de almacenamiento de datos tradicionales (como los data lakes o los almacenes de datos) queden obsoletos. En cambio, sus funciones pasan de servir como plataformas de datos únicas y centralizadas a dar soporte a múltiples repositorios de datos descentralizados.
El concepto de malla de datos fue introducido y popularizado por Zhamak Dehghani, directora de tecnologías emergentes de la consultora de TI ThoughtWorks. Ella propuso esta arquitectura de datos distribuida como solución a los retos inherentes a las arquitecturas de datos centralizadas, tales como la accesibilidad limitada y los silos organizativos.
La malla de datos se suele comparar con una arquitectura de microservicios (en la que una sola aplicación se compone de muchos servicios más pequeños y débilmente acoplados) porque ambas hacen hincapié en la descentralización, la autonomía y la escalabilidad.
Cada día, las organizaciones crean y recopilan cantidades masivas de datos. Cada departamento o unidad de negocio genera conjuntos de datos que a menudo se almacenan en repositorios dispares y que, por lo general, gestiona un equipo de datos centralizado.
Esta separación crea silos de datos (colecciones aisladas de datos operativos y analíticos que impiden el intercambio de datos, reducen la calidad de los mismos y debilitan la toma de decisiones basada en datos. Los silos de datos también limitan la eficacia de las iniciativas de big data, machine learning (ML) e inteligencia artificial (IA).
De hecho, según el IBM Data Differentiator, el 82 % de las empresas afirman que los silos de datos interrumpen flujos de trabajo críticos, y que el 68 % de los datos empresariales permanecen sin analizar.
Las arquitecturas de malla de datos distribuida abordan estos retos descentralizando la propiedad y la gestión de los datos. En lugar de depender de un equipo de datos centralizado y de las canalizaciones tradicionales, la propiedad de los datos se transfiere a los equipos de dominio. Estos equipos gestionan sus propios datos y los proporcionan como un producto al resto de la organización a través de una infraestructura de datos de autoservicio.
Este enfoque de datos como producto hace hincapié en la accesibilidad, el gobierno y la utilidad. Se basa en el principio de que los datos, al igual que cualquier producto de consumo de alta calidad, deben gestionarse y organizarse para satisfacer las necesidades específicas de datos de sus usuarios.
Un producto de datos es un activo reutilizable y autónomo que incluye datos, metadatos, semántica y plantillas. Está diseñado para casos de uso específicos y para dar servicio a una amplia gama de usuarios en toda la empresa, ayudándoles a extraer un valor empresarial significativo de datos que, de otro modo, podrían quedar aislados.
Los productos de datos se desarrollan con un enfoque de pensamiento de producto y aplicando los principios tradicionales de desarrollo de productos. Este enfoque implica comprender las necesidades de datos de los usuarios, priorizar las características de alto valor e iterar en función del feedback recibido.
Los productos de datos eficaces deben ser fáciles de encontrar, comprensibles, interoperables, compartibles, seguros y reutilizables.
Manténgase al día sobre las tendencias más importantes e intrigantes del sector en materia de IA, automatización, datos y mucho más con el boletín Think. Consulte la Declaración de privacidad de IBM.
El paradigma de la malla de datos es más que una simple implementación técnica. Implica un cambio cultural en la forma en que las organizaciones conciben la propiedad y el acceso a los datos. Tradicionalmente, las organizaciones trataban los datos de dominio como un subproducto de un proceso o sistema. Sin embargo, dado que la malla de datos trata los datos como un producto, los equipos de dominio se convierten en propietarios de productos de datos.
Según Zhamak Dehghani, hay cuatro principios fundamentales de la malla de datos1:
Tradicionalmente, una infraestructura centralizada o un equipo de ingeniería de datos se encargaba de gestionar la propiedad de los datos en todos los ámbitos. En un modelo de malla de datos, esta propiedad se descentraliza y recae en los equipos de cada ámbito, que son los más cercanos a los datos y los que mejor conocen cómo se utilizan. Estos responsables de los datos se encargan de crear productos de datos adaptados a esos usos específicos.
Los equipos de dominio también gestionan sus propios procesos de extracción, transformación y carga (ETL) o extracción, carga y transformación (ELT) dentro de una arquitectura de malla de datos. Sin embargo, esta responsabilidad no elimina la necesidad de un equipo de ingeniería de datos centralizado. En cambio, su función pasa a ser la de proporcionar y mantener las mejores soluciones de infraestructura de datos para el almacenamiento y la entrega de productos de datos.
Un enfoque de datos como producto (DaaP) trata los conjuntos de datos como productos comercializables que pueden ofrecerse a diversos usuarios dentro y fuera de una organización. Los productos de datos de dominio se ponen a disposición de los usuarios de toda la organización a través de interfaces de programación de aplicaciones (API) o plataformas de intercambio de datos.
De este modo, un enfoque de malla de datos permite una integración de datos más flexible y productos de datos interoperables. Los datos de múltiples dominios pueden consumirse fácilmente para el análisis de datos, la ciencia de datos, el machine learning y otros casos de uso.
Una plataforma de datos de autoservicio cuenta con herramientas que ayudan a los equipos de dominio (con menos conocimientos especializados en la creación de productos) a crear, mantener y compartir nuevos productos de datos. El equipo de la plataforma de datos puede proporcionar servicios de datos tales como almacenamiento de datos escalable, orquestación de canalizaciones de datos, linaje de datos y más.
La plataforma de autoservicio también puede tener diferentes planos, o capas, para atender a distintos usuarios. Dehghani enumera tres ejemplos: un plano de aprovisionamiento de infraestructura de datos, un plano de experiencia del desarrollador de productos de datos y un plano de supervisión de la malla de datos.
En un ecosistema de malla de datos, los equipos de dominio son responsables de definir las políticas de gobierno de datos relacionadas con la documentación, la calidad y el acceso. Esto incluye el mantenimiento de definiciones semánticas, la catalogación de metadatos y el establecimiento de permisos y políticas de uso.
Esta estandarización permite el acceso a los datos de autoservicio en toda la organización, mientras que un equipo centralizado de gobierno de datos establece y mantiene los estándares organizativos.
El data fabric y la malla de datos son arquitecturas de datos complementarias. De hecho, los data fabrics suelen mejorar la funcionalidad y permitir la implementación de una malla de datos.
Un data fabric utiliza sistemas inteligentes y automatizados para romper los silos, gestionar los activos de datos y optimizar la gestión de datos a escala. Se centra en la automatización de la ingesta de datos, la integración de datos, la ingeniería de datos y el gobierno. Por ejemplo, un data fabric puede automatizar partes clave de la malla de datos, como la creación de productos de datos y la gestión de su ciclo de vida.
Las organizaciones que adoptan arquitecturas de malla de datos pueden disfrutar de una serie de beneficios, entre los que se incluyen:
Las arquitecturas de malla de datos pueden facilitar el acceso a los datos en modo autoservicio al hacer que los conjuntos de datos sean fáciles de localizar y utilizar. Esta democratización amplía el acceso a datos más allá de los equipos técnicos, como los científicos de datos, los ingenieros de datos y los desarrolladores. Con un gobierno adecuado, este enfoque también puede reducir los silos de datos y los cuellos de botella operativos, lo que permite una toma de decisiones más rápida y ágil.
La arquitectura distribuida de la malla de datos puede fomentar la adopción de plataformas de datos en la nube y canalizaciones para la transmisión de datos en tiempo real. Estas herramientas pueden mejorar la visibilidad de los costes de almacenamiento y procesamiento, lo que permite una mejor asignación de presupuesto y recursos para los equipos de ingeniería.
Cuando las organizaciones implementan la malla de datos en una infraestructura en la nube, los equipos de datos pueden escalar los recursos de almacenamiento y computación según sea necesario. Por ejemplo, si se requiere potencia de computación adicional para completar un trabajo en horas en lugar de días, la empresa puede aprovisionar fácilmente nodos de computación adicionales y temporales.
Distribuir la responsabilidad de las canalizaciones de datos por dominio elimina la complejidad y la colaboración necesarias para mantener un sistema de datos centralizado. Este enfoque descentralizado reduce las tensiones y la deuda técnicas, y acelera la entrega a los consumidores de datos.
La malla de datos anima a los equipos de dominio a acordar campos y formatos de datos estandarizados e independientes del dominio (como el tipo de campo, los metadatos y los indicadores de esquema). Estas reglas compartidas facilitan la integración y la reutilización, ya que permiten aplicar de forma rápida y sencilla las reglas pertinentes en todos los dominios.
Las arquitecturas de malla de datos ayudan a hacer cumplir las reglas de datos y los controles de acceso a nivel de dominio mediante reglas estandarizadas y observabilidad integrada. Esta sólida postura de gobierno ayuda a garantizar que las organizaciones cumplan las normativas relativas a los datos sensibles, como la Ley de Portabilidad y Responsabilidad del Seguro Médico (HIPAA) de EE. UU.
A través de la propiedad de los dominios y un ecosistema de datos descentralizado, las arquitecturas de malla de datos ayudan a las organizaciones a mejorar la accesibilidad y la usabilidad de los datos en una variedad de casos de uso, entre los que se incluyen:
Los conjuntos de datos seleccionados, localizables y de propiedad de los dominios respaldan las iniciativas de BI. Los equipos pueden añadir fácilmente estos conjuntos de datos a los paneles de control de BI y a las visualizaciones de datos sin la asistencia técnica de un equipo central de ingeniería de datos.
Los chatbots y los agentes virtuales funcionan mejor cuando tienen acceso a datos de calidad y relevantes. Una arquitectura de malla de datos ayuda a poner a disposición de estos sistemas más fuentes de datos de alta calidad procedentes de todos los dominios.
Las organizaciones pueden obtener una visión más unificada de sus clientes al combinar datos de clientes estandarizados de todos los dominios. Esta visión puede mejorar la experiencia general del cliente, incluyendo los esfuerzos de personalización y segmentación.
Los datos estandarizados reducen el tiempo que los científicos de datos deben dedicar a combinar datos de diversos dominios. Este ahorro de tiempo acelera el proceso de datos y aumenta el número de modelos que pueden pasar a un entorno de producción.
Cree y gestione canalizaciones de datos de streaming inteligentes a través de una interfaz gráfica intuitiva, y facilite una integración de datos fluida en entornos híbridos y multinube.
Watsonx.data le permite escalar la analítica y la IA con todos sus datos, residan donde residan, a través de un almacén de datos abierto, híbrido y gobernado.
Desbloquee el valor de los datos empresariales con IBM Consulting, y construya una organización impulsada por conocimientos que ofrezca ventajas empresariales.
1 “Data Mesh Principles and Logical Architecture”. Martin Fowler. 3 de diciembre de 2020.
