Su estrategia de ingesta de datos es un factor clave en la calidad de los datos

Tal vez hasta el 25 % del tiempo de los equipos de datos (el enlace reside fuera de ibm.com) se dedica ahora a la ingestión de datos. Es decir, recopilarlos de miles de fuentes para su transformación y transferencia. Esa es una gran parte de la semana, y si queremos recuperar parte de ese tiempo, hay un problema grande y obvio que podemos abordar: la calidad de los datos entrantes.

Para los ingenieros de datos, la ingesta de datos es tanto el acto como el proceso de importar datos de una fuente (proveedor, producto, almacén, archivo y otros) a un entorno de prueba. A partir de ahí, los datos se transforman o transfieren a su destino. Si está pensando en términos de un pipeline de ingesta de datos, la ingesta es la primera etapa. O tal vez “etapa cero”, porque a menudo se pasa por alto y rara vez se mide con el mismo rigor que otras etapas, aunque debería serlo.

Cuantos más datos de mala calidad permita que se filtren en su almacén o lago, más rápido contaminará todo lo demás. Es un caso de "entra basura y de repente hay basura en todas partes", ya que los errores se replican en otros sistemas.

Por lo tanto, puedes concentrar el trabajo de calidad de datos al principio del proceso o dejar para el final la tediosa tarea de limpiar los datos.

A continuación se muestra un ejemplo de una ingesta de datos en la que los errores pueden replicarse y hacer que no cumpla con sus SLA de datos.

En general, hay tres modos de ingesta de datos:

1. Ingesta por lotes: usted recopila datos en una capa de preparación y luego los transfiere al destino en lotes según un programa diario, semanal, mensual o con otra frecuencia.
2. Ingesta de transmisión: pasa los datos a su destino a medida que llegan a su sistema. (O eso es en teoría, al menos. Con la transmisión de datos, el “tiempo real” es relativo porque el ejecutor de la pipeline como Spark o Airflow simplemente está agrupando por microlotes (el enlace se encuentra fuera de ibm.com) los datos, preparándolos y enviándolos en grupos más pequeños, más frecuentes y discretizados. Pero al igual que un proyector de películas que se muestra a 30 fotogramas por segundo, aparece en tiempo real para los humanos).
3. Transmisión híbrida: Usted usa una combinación de procesamiento por lotes y transmisión continua, donde se designan ciertos tipos de datos para la transmisión continua y otros para el procesamiento por lotes.

¿Qué tipo de ingesta de datos debería usar? De forma predeterminada, comience con transferencias por lotes. Normalmente son menos complejos, requieren menos planeación de la configuración y tienen menos componentes que gestionar.

A veces, su SLA o caso de uso empresarial requerirá un enfoque de transmisión o híbrido. Utilice un enfoque de transmisión cuando trabaje con una gran variedad de tipos diferentes de fuentes de datos. Sin embargo, en la mayoría de los casos, nunca podrá eliminar por completo la ingesta por lotes, por lo que un enfoque híbrido tendrá más sentido. Sus datos importantes se transmiten y los datos no importantes se agrupan, lo que alivia la presión sobre ambas arquitecturas.

Esta es una pregunta común con una respuesta sencilla: la ingesta de datos y ETL son partes diferentes del mismo flujo de trabajo. por ejemplo, primero se ingieren datos varios de proveedores y archivos, y luego, cuando están listos, los extrae, transforma y carga (ETL) utilizando un pipeline de datos que los mueve a otro destino.

La ingestión de datos es un término mucho más amplio que ETL. La ingesta se refiere al proceso general de ingesta de datos de cientos o miles de fuentes y prepararlos para la transferencia. ETL es una acción o trabajo muy específico que puede ejecutar.

Sin embargo, si quiere ser más detallado, la ingesta hoy en día implica una buena cantidad de extracción, transformación y carga. Es muy raro ingerir y transferir datos sin alguna transformación, a menos que solo esté replicando una base de datos, guardando registros del sistema sin procesar o, por alguna razón, sea indiferente a la calidad.

Por supuesto, a medida que los costos de la infraestructura de datos han disminuido, ELT (cargarlo en su almacén o lago antes de transformarlo) se ha vuelto más popular que ETL. Los equipos de datos tienen que preocuparse menos por desbordar el presupuesto de sus herramientas de analytics, por lo que ahora pueden permitirse cargar todo y resolverlo más tarde. Pero, de nuevo, incluso cuando solo está moviendo los datos, siempre debe verificar su calidad y limpiarlos.

Lo cual nos lleva a nuestro marco de ingesta de datos.

La forma en que ingiere sus datos depende del tipo de datos y su propósito. Por ejemplo, ¿es alta complejidad, alta velocidad o baja complejidad, baja velocidad? ¿Lo deposita en una capa de prueba para transformarlo antes de moverlo, o lo ingiere de varios proveedores de datos, confiando en que es correcto, y lo transmite directamente a sus sistemas? (En ese caso, admiro que no tenga preocupaciones).

Estas son las preguntas que puede hacer para fundamentar su estrategia de ingesta de datos:

• ¿Qué parámetros de calidad debemos cumplir?
• ¿Cuál es la complejidad?
• ¿Cuál es la velocidad?
• ¿Cuáles son las necesidades del consumidor?
• ¿Existen regímenes normativos a seguir? (por ejemplo, SOC2, PCI)
• ¿Existen necesidades normativas o de cumplimiento? (por ejemplo, HIPAA, RGPD, CCPA)
• ¿Se puede automatizar?

Cuanto mayor sea su necesidad en cuanto a la calidad de los datos, aquí, o en cualquier capa o ubicación a través de la cual pasarán los datos, mayor será su necesidad de observabilidad de la ingesta de datos. Es decir, la mayor visibilidad que necesita sobre la calidad de los datos que se ingieren.

Como ya comentamos en la introducción, los errores tienden a propagarse en cascada, y la información errónea que se introduce puede convertir rápidamente en información errónea en todas partes. Los pequeños esfuerzos para mejorar la calidad aquí tendrán un efecto acumulativo y ahorrarán días o semanas enteros de trabajo.

Como dice Fithrah Fauzan, líder del equipo de ingeniería de datos de Shipper: “Con tan solo un error tipográfico cambia el esquema y daña el archivo. Esto nos ocurría semanalmente. Sin IBM® Databand, a menudo no sabíamos que teníamos un problema hasta dos o tres días después, cuando teníamos que volver a completar los datos”.

Además, cuando puede observar los datos ingeridos, puede establecer reglas para limpiarlos automáticamente y garantizar que se mantengan limpios. Así que, si un proveedor de datos cambia su API, detectas el cambio de esquema. Y si hay errores humanos en su base de datos que han causado algunos valores excesivamente inestables, los nota, se detiene y los aborda.

Cuando puede observar tu proceso de ingesta de datos, puede realizar lo siguiente de forma más fiable:

• Agregar los datos: reunir todo de forma integral.
• Fusionar: combinar conjuntos de datos similares.
• Dividir: dividir a diferencia de los conjuntos de datos.
• Resumir: producir metadatos para describir el conjunto de datos.
• Validar los datos: verificar que los datos sean de alta calidad (como se esperaba)
• (Tal vez) Estandarizar: alinear esquemas
• Depurar: eliminar datos incorrectos
• Deduplicar: eliminar duplicados involuntarios

A partir de ahí, puede empezar a crear el marco que funcione para usted. Los datos altamente complejos exigen una observabilidad, muy complexa: si su herramienta de monitoreo no es altamente personalizable y no puede detectar automáticamente valores anómalos, la automatización no le sirve de mucho. Siempre estará arreglando el sistema, modificando las reglas y refinando las cosas a mano.

Los datos altamente complejos también lo convierten en un buen candidato para un enfoque de ingesta híbrida, en el que puede designar los datos ingeridos en un flujo de trabajo por lotes o transmitido. Si tiene cualquier cantidad de datos de alta velocidad, que se supone que están muy actualizados, es candidato para una arquitectura de ingesta de transmisión o, por supuesto, híbrida.

A partir de ahí, necesita comprender cuáles son las necesidades específicas de sus usuarios.

Estas son algunas herramientas de ingesta de datos que quizá le resulten útiles para esto:

• Herramienta de ingesta: Apache Storm, Apache Flume, Gobblin, Apache NiFi, Apache Logstash
• Almacenamiento: Snowflake, Azure, AWS, Plataforma en la nube de Google
• Plataforma de streaming: Apache Kafka
• Plataforma de observabilidad: Databand

La ingesta de datos ahora ocupa aproximadamente una cuarta parte de nuestro tiempo, y tiene mucha menos “visibilidad” de la que creemos que merece. Los problemas con los datos se agravan. Cuanto más esfuerzo invierta en limpiar sus datos a medida que ingresan a sus pipelines de ingesta de datos, más se ahorrará el trabajo de limpieza que se va acumulando para más adelante.

¿Y cuál es la mejor manera de empezar? La observabilidad. No puede gestionar lo que no puede medir, y una buena plataforma de observabilidad cierra la brecha para herramientas de pipeline de ingesta de datos como Spark y Airflow, que no pueden evaluar la calidad de los datos al ingerirlos.

Si observa, puede actuar. Y si actúa con decisión, puede eliminar los datos erróneos de una vez por todas.

Aprenda más sobre la plataforma de observabilidad de los datos continua de Databand y cómo ayuda a detectar incidentes de datos con mayor anticipación, resolverlos más rápido y entregar datos más confiables a la empresa. Si está listo para profundizar, reserve una demostración hoy mismo.