Cómo garantizar la calidad, el valor y la confiabilidad de los datos

La calidad de los datos en las etapas posteriores depende directamente de la calidad de los datos en la primera etapa. Ya en la ingesta, los datos precisos y confiables garantizarán que los datos utilizados en sentido descendente para analytics, visualización y ciencia de datos sean de gran valor.

Para una empresa, esto marca la diferencia entre obtener beneficio de los datos y que estos pasen a un segundo plano a la hora de tomar decisiones. En esta entrada en el blog, describimos la importancia de la calidad de los datos, cómo auditar y monitorear sus datos, y cómo lograr que su liderazgo, colegas y junta directiva se sumen.

Temas tratados:

• Observabilidad proactiva de los datos
• Auditoría de datos para garantizar la calidad
• ¿Calidad de los datos o valor de los datos?
• Cómo abordar el nivel ejecutivo y a la junta directiva
• Cómo entrenar internamente
• La maldición del “Otro”
• Mejores prácticas para comenzar: Asegurar la calidad de los datos en toda la empresa

Gestionar datos es como correr un maratón. Muchos factores determinan el resultado final, y es un proceso largo. Sin embargo, supongamos que un corredor tropieza y se lastima el tobillo en esa primera milla. En ese caso, no completará con éxito el maratón. Del mismo modo, si los datos no se monitorean tan pronto como la ingestión, el resto del pipeline se verá afectado negativamente.

¿Cómo podemos garantizar la gobernanza de datos durante esta primera milla del recorrido de los datos?

Los datos ingresan al proceso desde diversas fuentes: API externas, envíos de datos de proveedores externos, extracción de una base de datos y otras. El monitoreo de los datos en los puntos de ingestión garantiza que los ingenieros de datos puedan obtener una observabilidad proactiva de los datos que entran.

Esto les permite gestionar y arreglar datos para cerciorar que el proceso sea saludable y fiable desde el principio.

Al obtener una observabilidad proactiva de los pipelines de datos, los ingenieros de datos pueden:

• Confíe en los datos
• Identificar fácilmente los puntos de ruptura
• Arreglar rápidamente los problemas antes de que lleguen al almacén o panel

Los ingenieros de datos que deseen revisar su pipeline o auditar y monitorear una fuente de datos externa pueden usar las siguientes preguntas durante su evaluación:

1. ¿Cuál es el alcance de la cobertura?
2. ¿Cómo se rastrean los datos?
3. ¿Existe una referencia de datos maestros que incluya requisitos y metadatos?
4. ¿Se define al cliente de la manera correcta?
5. ¿Existe una jerarquía común?
6. ¿Las taxonomías aprovechan los requisitos del negocio?
7. ¿Las geografías están configuradas correctamente?
8. ¿Hay duplicados?
9. ¿Se buscaron los datos antes de crear nuevas entidades?
10. ¿Los datos están estructurados para permitir integraciones e interoperabilidad sin interrupciones?

Ahora que explicamos cómo los ingenieros de datos pueden abordar la calidad de los datos, veamos cómo conseguir el apoyo de más stakeholders en la compañía.

Los ingenieros de datos suelen hablar de la calidad de los datos. Sin embargo, al cambiar la conversación hacia el valor de los datos, se podría alentar a otros stakeholders en las organizaciones a participar de manera más significativa en el proceso de datos. Esto es importante para obtener atención, recursos y asistencia continua.

Para ello, recomendamos hablar sobre cómo los datos se alinean con los objetivos empresariales. De lo contrario, los stakeholders externos podrían pensar que la conversación gira solo en torno a la limpieza de datos.

• Relevancia: ¿los datos cumplen con el objetivo del negocio?
• Cobertura: ¿los datos cubren todo el mercado, permitiendo a la compañía ponerlos en práctica?
• Estructura: ¿los datos están estructurados para que la empresa pueda usarlos?
• Precisión: ¿los datos son completos y correctos?

Al centrar la conversación en el valor de los datos en lugar de en su calidad, se puede animar a los ejecutivos y a la junta directiva a invertir más recursos en el flujo de datos. Aquí le explicamos cómo acercarse a ellos:

1. Comience con las razones por las que la gestión de datos es de importancia estratégica para su empresa. Muestre cómo los datos pueden ayudar a ejecutar las intenciones estratégicas.
2. Explique cómo la gestión y el análisis de datos pueden ayudar a la empresa a alcanzar sus objetivos. Muestre cómo los datos pueden crecer, mejorar y proteger el negocio. Puede entretejer los cuatro criterios anteriores para enfatizar sus puntos.
3. Conecte los datos a departamentos específicos. Muestre cómo los datos pueden ayudar a mejorar la eficiencia operativa, aumentar las ventas y mitigar el riesgo. Ningún otro departamento puede afirmar ayudar a crecer, mejorar y proteger todos los departamentos en la misma medida que la ingeniería de datos.
4. No se centre en el proceso y la tecnología; de lo contrario, tendrá una audiencia muy pequeña.

Además del liderazgo de la empresa, también es importante que las personas de la empresa se unan. Esto ayudará con el análisis y seguimiento de datos. Los ingenieros de datos a menudo necesitan que los empleados de la empresa participen en el esfuerzo continuo de mantener los datos. Por ejemplo, los vendedores deben completar varios campos en un CRM al agregar una nueva oportunidad.

Recomendamos invertir tiempo en la gestión de personas, como capacitar y garantizar que todos estén en sintonía con respecto a la importancia de la calidad de los datos. Por ejemplo, explicar cómo identificar discrepancias con precisión puede ayudar a descubrir una anomalía empresarial (en lugar de una anomalía de datos, lo que podría ocurrir si las personas no actualizan los datos de manera constante y exhaustiva).

La auditoría del valor de los datos es crucial porque afecta directamente la capacidad de tomar decisiones sobre ellos. Si necesita un ejemplo para convencer a los empleados de que participen en la gestión de datos, recuérdeles "la maldición del 'otro'".

Cuando las unidades de negocio como marketing, productos y ventas supervisan paneles, y una gran parte se titula “otro”, no tienen todos los datos que necesitan y su toma de decisiones se ve afectada. Este es el resultado de la falta de gestión y gobernanza de datos.

¿Cómo pueden los ingenieros de datos convertir la calidad de los datos de una teoría abstracta en práctica? Relacionemos todo lo que cubrimos en un plan de acción aplicable en la práctica.

Primero, evalúe qué dominios deben cubrirse y qué tan bien se están gestionando. Esto incluye tipos de datos como:

• Datos de relaciones con clientes, proveedores, socios, prospectos, ciudadanos, pacientes y clientes
• Datos de marca de productos, servicios, ofertas, banners y mucho más.

Identifique los errores en las diferentes etapas del pipeline, comenzando por la ingestión.

Presente la situación de los datos a los distintos stakeholders. Muestre cómo se gestionan los datos desde el punto de entrada hasta el producto final. Luego, explique cómo el valor actual de los datos está afectando sus decisiones. Presente los puntos de error y sugiera formas de arreglarlos.

Elabore un plan prioritario para impulsar el cambio. Determine qué problemas arreglar primero. Incluya la identificación de fuentes y cómo envían datos, gestión de datos internos y capacitación de empleados. Obtenga la aceptación del plan y proceda a ejecutarlo.

Garantizar la calidad de los datos es responsabilidad de los ingenieros de datos y de toda la organización. El control de la calidad de los datos comienza en la fuente. Sin embargo, al obtener la aceptación de los empleados y la gerencia, los ingenieros de datos pueden asegurarse de que obtendrán los recursos y la atención necesarios para monitorear y realizar los arreglos de los problemas de datos a lo largo de la canalización, y ayudar al crecimiento del negocio.