Estrategia de arquitectura de datos para la calidad de los datos

La mala calidad de los datos es una de las principales barreras que enfrentan las organizaciones que aspiran a ser más basadas en datos. Las decisiones comerciales inoportunas y los procesos comerciales mal informados, las oportunidades de ingresos perdidas, las iniciativas comerciales fallidas y los sistemas de datos complejos pueden deberse a problemas de calidad de los datos. Solo uno de estos problemas puede resultar costoso para una organización. Tener que lidiar con todos ellos puede ser devastador.

Varios factores determinan la calidad de los datos de tu compañía, como la precisión, la integridad, la consistencia, por nombrar algunos. Pero hay otro factor de la calidad de los datos que no recibe el reconocimiento que merece: su arquitectura de datos.

La arquitectura de datos adecuada puede ayudar a su organización a mejorar la calidad de los datos porque proporciona la infraestructura que determina cómo se recopilan, transportan, almacenan, protegen, utilizan y comparten los datos para casos de uso de business intelligence y ciencia de datos.

La primera generación de arquitecturas de datos representada por el almacén de datos empresarial y las plataformas de business intelligence se caracterizó por miles de trabajos, tablas e informes de ETL que solo un pequeño grupo de ingenieros de datos especializados entendía, lo que resultó en un impacto positivo subestimado en el negocio. La próxima generación de plataformas de big data y los trabajos por lotes de larga duración operados por un equipo central de ingenieros de datos a menudo han llevado a pantanos de lagos de datos.

Ambos enfoques eran arquitecturas típicamente monolíticas y centralizadas organizadas en torno a funciones mecánicas de ingesta, procesamiento, limpieza, agregación y servicio de datos. Esto creó una serie de cuellos de botella organizacionales y tecnológicos que prohíben la integración y escala de datos a lo largo de varias dimensiones: cambio constante del ámbito de datos, proliferación de fuentes de datos y consumidores de datos, diversidad de Transformación y procesamiento de datos que los casos de uso requieren, y velocidad de respuesta al cambio.

Una arquitectura de datos moderna, como Data Mesh y Data Fabric, tiene como objetivo conectar fácilmente nuevas fuentes de datos y acelerar el desarrollo de canales de datos específicos de cada caso de uso en entornos on premises, híbridos y multicloud. En combinación con una administración efectiva del ciclo de vida de los datos, que evoluciona hacia los datos como administración de productos, una arquitectura de datos moderna puede permitir que su organización:

• Permita que los administradores de datos garanticen el cumplimiento, la protección y la seguridad de los datos.
• Aumente la confianza en los datos al obtener visibilidad de dónde provienen los datos, cómo han cambiado y quién los está utilizando
• Monitoree e identifique los problemas de calidad de los datos más cerca del origen para mitigar el impacto potencial en los procesos o cargas de trabajo descendentes
• Adopte de manera eficiente plataformas de datos y nuevas tecnologías para una gestión de datos eficaz
• Aplique metadatos para contextualizar los datos existentes y nuevos para que se puedan buscar y detectar
• Realizar perfiles de datos (el proceso de examinar, analizar y crear resúmenes de conjuntos de datos)
• Reduzca la duplicación y fragmentación de datos

Debido a que su arquitectura de datos dicta cómo se estructuran sus activos de datos y Recursos de gestión de datos, desempeña un papel crítico en la eficacia de su organización para realizar estas tareas. Es decir, la arquitectura de datos es un elemento fundamental de su estrategia empresarial para una mayor calidad de los datos. Las capacidades críticas de las soluciones modernas de gestión de calidad de datos de alta calidad requieren que una organización:

• Aplique la gobernanza de datos en toda la organización complementando los procesos manuales de calidad de datos con metadatos y tecnologías relacionadas con la IA (enlace externo a ibm.com).
  
• Realizar un control de la calidad de los datos basado en reglas preconfiguradas.
• Crear un linaje de modelado de datos para realizar un análisis de la causa principal de los problemas de calidad de los datos
• Haz que el valor de un conjunto de datos sea inmediatamente comprensible
• Practique una higiene de datos adecuada en todas las interfaces

Una Estrategia de datos puede ayudar a los Data Architect a crear e implementar una arquitectura de datos que mejore la calidad de los datos. Los pasos para desarrollar una estrategia de datos eficaz incluyen:

Por ejemplo, una institución financiera puede buscar mejorar el cumplimiento normativo, reducir costos y aumentar los ingresos. Las partes interesadas pueden identificar casos de uso empresarial para determinados tipos de datos, como la realización de análisis de datos en tiempo real a medida que se ingieren, con el fin de automatizar la toma de decisiones y reducir los costos.

Este paso incluye identificar y catalogar todos los datos de toda la organización en una lista de inventario centralizada o federada, eliminando así los silos de datos. La lista debe detallar dónde reside cada conjunto de datos y qué aplicaciones y casos de uso dependen de él. A continuación, selecciona los datos necesarios para tus casos de uso clave y prioriza aquellos dominios de datos que los incluyan.

Una convención de nomenclatura y un formato de datos alineado (clases de datos) para los datos utilizados en toda la organización ayudan a garantizar la coherencia y la interoperabilidad de los datos entre departamentos (dominios) y casos de uso.

Decida los cambios que optimizarán sus datos para lograr sus objetivos comerciales. Investigación de los diferentes tipos de arquitecturas de datos modernas, como una estructura de datos y una malla de datos, puede ayudarle a decidir cuál es la estructura de datos más adecuada para las necesidades de su empresa.

Cree KPI y utilice analytics avanzados que vinculen la medida del éxito de su arquitectura con la calidad de los datos.

Las compañías pueden desarrollar un plan de despliegue para implementar la arquitectura y gobernanza de datos en tres o cuatro dominios de datos por trimestre.

Una arquitectura de datos bien diseñada crea una base para la calidad de los datos a través de la transparencia y la estandarización que enmarca la forma en que su organización ve, usa y habla sobre los datos.

Como se mencionó anteriormente, una estructura de datos es una de esas arquitecturas. Un data fabric automatiza el descubrimiento de datos, la gobernanza y la gestión de la calidad de los datos, y simplifica el acceso de autoservicio a los datos distribuidos en un ámbito de nube híbrida. Puede abarcar las aplicaciones que generan y utilizan datos, así como cualquier cantidad de repositorios de almacenamiento de datos, como almacenes de datos, lagos de datos (que almacenan grandes cantidades de big data), bases de datos NoSQL (que almacenan datos no estructurados) y bases de datos relacionales que utilizan SQL.

Aprenda más sobre los beneficios de el tejido de datos e IBM Cloud Pak for Data.