La gestión de la calidad de los datos, o DQM, es un conjunto de prácticas para mejorar y mantener la calidad de los datos de una organización.
A medida que la producción global de datos continúa a un ritmo vertiginoso, la gestión eficaz de la calidad de los datos ayuda a las compañías a evitar los datos de baja calidad, que pueden dar lugar a costosos errores e ineficiencias en los procesos empresariales. Con datos fiables y de confianza al alcance de la mano, las empresas pueden desbloquear valiosos insights, tomar mejores decisiones de toma de decisiones e integrar la inteligencia artificial (IA) en sus operaciones.
La gestión de la calidad de los datos incluye prácticas como la elaboración de perfiles de datos, la limpieza de datos, la validación de datos, el monitoreo de la calidad de los datos y la gestión de metadatos. La gestión exitosa de la calidad de los datos da como resultado conjuntos de datos optimizados para dimensiones clave de calidad, como precisión, integridad, coherencia, puntualidad, singularidad y validez.
Las soluciones de software pueden ayudar a las organizaciones y a los profesionales de los datos a dirigirse a los problemas de calidad de los datos y a crear pipelines de datos de alta calidad. Estas herramientas ofrecen características como análisis de calidad de datos, detección de anomalías, alertas de incidentes en tiempo real y más.
Manténgase al día sobre las tendencias más importantes e intrigantes de la industria sobre IA, automatización, datos y más con el boletín Think. Consulte la Declaración de privacidad de IBM.
Para comprender la importancia de la gestión de la calidad de los datos, considere lo que puede suceder en su ausencia: a medida que las compañías priorizan las funciones basadas en datos, la mala calidad de los datos puede provocar errores, retrasos, pérdidas financieras y daños a la reputación, entre otras consecuencias graves. Tales riesgos se multiplican en la era de "big data", ya que las organizaciones lidian con conjuntos de datos masivos y complejos.
Imagine los siguientes escenarios de "datos incorrectos":
En contraste, los datos de alta calidad contribuyen a las iniciativas de business intelligence, lo que se traduce en eficiencia operativa, optimización de los flujos de trabajo, cumplimiento normativo, satisfacción del cliente y crecimiento de la empresa.
Los beneficios de la alta calidad de los datos se han intensificado aún más con la adopción generalizada de la inteligencia artificial. Los algoritmos requieren datos de alta calidad para un rendimiento eficaz del modelo; una buena calidad de los datos puede permitir resultados del modelo de IA más precisos y útiles.
De hecho, las empresas con grandes almacenes de datos en los que confían los stakeholders internos y externos obtuvieron casi el doble de retorno de la inversión en sus capacidades de IA, según una investigación del IBM Institute for Business Value.
Una gestión exitosa de la calidad de los datos garantiza que los datos de una organización cumplan con seis dimensiones clave de la calidad de los datos:
Garantizar datos precisos (datos que representen correctamente eventos y valores del mundo real) implica identificar y corregir errores o tergiversaciones en un conjunto de datos.
La integridad de los datos se logra cuando un conjunto de datos contiene todos los registros necesarios y no tiene lagunas ni missing values.
Los datos coherentes son coherentes y estandarizados en toda una organización, lo que garantiza que los registros de datos en diferentes conjuntos de datos sean compatibles entre sí.
La puntualidad de los datos es una medida de cuán actualizados están los valores de los datos, lo que permite a las organizaciones evitar tomar decisiones basadas en información obsoleta.
La unicidad de los datos se refiere a la ausencia de datos redundantes o registros duplicados, lo que puede distorsionar el análisis.
La validez de los datos refleja si los datos se ajustan a las business rules, como estar dentro de los rangos permitidos para ciertos valores de datos y cumplir con los estándares de formato de datos especificados.
Si bien estas se encuentran entre las dimensiones de calidad de datos más comunes utilizadas por los profesionales de datos, otras métricas de calidad de datos incluyen accesibilidad, relevancia, representación concisa y cantidad adecuada de datos o volumen.1
Las prácticas de gestión de calidad de datos complementarias y comunes entre los administradores de datos y otros profesionales de datos incluyen:
Antes de mejorar los datos, es importante determinar dónde se necesita mejorar. El perfilado de datos es el proceso de revisión de la estructura y el contenido de los datos existentes para evaluar su calidad y establecer una base de referencia con la que medir la corrección.
El análisis realizado durante el perfilado de datos puede proporcionar información sobre los tipos de datos, revelar anomalías, identificar valores de datos no válidos o incompletos y evaluar las relaciones entre conjuntos de datos.
La limpieza de datos, también conocida como limpieza de datos, es la corrección de errores e inconsistencias en conjuntos de datos sin procesar. Los métodos para lograr datos limpios incluyen la estandarización (hacer que los formatos y estructuras sean consistentes), ajustar o eliminar valores atípicos, deduplicación de datos y abordar missing values.
A veces se considera parte de los enfoques de limpieza de datos, la validación de datos es la verificación de que los datos están limpios, son precisos y cumplen con reglas y requisitos específicos de calidad de datos (como restricciones de rango o integridad referencial) que los hacen listos para su uso.
Garantizar la calidad de los datos es un proceso continuo. Los cambios de esquema, la obsolescencia de los datos y los registros duplicados pueden comprometer la integridad de los datos con el tiempo. El monitoreo continuo de datos identifica los activos de datos existentes que ya no cumplen con los estándares de calidad de datos y los indicadores clave de rendimiento (KPI) de una organización.
Si bien la gestión de metadatos admite múltiples capacidades, como la seguridad y la gobernanza, a menudo también se incluye bajo el paraguas de DQM. Las técnicas de gestión de metadatos, como el enriquecimiento de metadatos, pueden garantizar que los metadatos incluyan información sobre reglas de datos, definiciones de datos y linaje de datos. Esto puede informar y optimizar los esfuerzos de gestión de datos, incluidas las iniciativas de calidad de datos.
La gestión de la calidad de los datos, la gestión de datos, la gestión de datos maestros y la gobernanza de datos son procesos distintos pero relacionados para optimizar el valor de los activos de datos de una organización.
La gestión de datos abarca la supervisión y el manejo de los datos a lo largo de su ciclo de vida. Las estrategias de gestión de datos ayudan a las organizaciones a dar dirección al uso de diversas fuentes de datos y planificar la recuperación ante desastres, entre otras cuestiones. La gestión de la calidad de los datos puede considerarse una disciplina o subconjunto de la gestión de datos.
La gestión de datos maestros es un enfoque integral que establece la coherencia para el manejo de datos críticos (datos maestros) en toda una organización.
A través de la gestión de datos maestros, los datos críticos son compartidos y utilizados por varias aplicaciones y sistemas dentro de la organización para reducir la fragmentación de datos, los datos aislados, la duplicación y las imprecisiones. Lo hace a través de una colección de procesos y herramientas tecnológicas, algunas de las cuales también se incorporan a la gestión de la calidad de los datos, como la limpieza de datos.
La gobernanza de datos define e implementa políticas, estándares y procedimientos para la recopilación, el almacenamiento de datos, la propiedad, el procesamiento y el uso de datos. Al igual que la gestión de la calidad de los datos, la gobernanza de datos también puede considerarse una disciplina de gestión de datos. Al mismo tiempo, los procedimientos establecidos a través de las infraestructuras de gobernanza de datos, como las políticas de gobernanza sobre el manejo coherente de los datos, pueden respaldar las iniciativas de DQM.
Las herramientas de gestión de calidad de datos y las soluciones de software pueden reducir significativamente los esfuerzos manuales de DQM. Y aunque la proliferación de la IA es uno de los factores que impulsan la necesidad de gestión de la calidad de los datos, la IA también permite soluciones DQM más potentes. El machine learning, por ejemplo, se puede desplegar para la detección de anomalías de datos.
Otras capacidades que ofrecen las soluciones de gestión de calidad de datos incluyen:
Cree y gestione canalizaciones de datos de streaming inteligentes a través de una interfaz gráfica intuitiva, y facilite una integración de datos fluida en entornos híbridos y multinube.
watsonx.data le permite escalar los analytics y la IA con todos sus datos, residan donde residan, a través de un almacén de datos abierto, híbrido y gestionado.
Desbloquee el valor de los datos empresariales con IBM Consulting, y construya una organización impulsada por insights que ofrezca ventajas empresariales.
1 “Overview of Data Quality: Examining the Dimensions, Antecedents, and Impacts of Data Quality.” Journal of the Knowledge Economy. 10 de febrero de 2023.
