ELT frente a ETL: ¿cuál es la diferencia?

Con ELT, los datos no estructurados se extraen de un sistema de origen y se cargan en un sistema de destino para ser transformados posteriormente, según sea necesario. Estos datos extraídos y sin estructurar se ponen a disposición de los sistemas de business intelligence, sin necesidad de realizar una preparación previa de los datos. ELT aprovecha el almacenamiento de datos para realizar transformaciones de datos, como la validación de datos o la eliminación de datos duplicados. Estos procesos se actualizan en tiempo real y se utilizan para grandes cantidades de datos sin procesar. ELT es un proceso más nuevo que no ha alcanzado todo su potencial en comparación con su hermana mayor, ETL. El proceso de ELT se basaba originalmente en scripts SQL codificados de forma rígida. Es más probable que esos scripts SQL tengan posibles errores de programación que los métodos más avanzados utilizados en ETL.

Con ETL, los datos no estructurados se extraen de un sistema de origen y se identifican puntos de datos específicos y posibles "claves" antes de cargar los datos en los sistemas de destino. En un escenario de ETL tradicional, los datos de origen se extraen a un área de preparación y se mueven al sistema de destino. En el área de preparación, los datos se someten a un proceso de transformación que organiza y limpia todos los tipos de datos. Este proceso de transformación permite que los datos ahora estructurados sean compatibles con los sistemas de almacenamiento de datos de destino. ETL se diseñó originalmente para trabajar con bases de datos relacionales, que históricamente dominaban el mercado. Los ingenieros de datos han trabajado en procesos ETL desde la década de 1970, lo que les ha dado tiempo para perfeccionar significativamente los procesos ETL de la ciencia de datos.

En el siguiente video, Jamil Spain profundiza en ETL: 

elt

El enfoque ELT permite una implementación más rápida que el proceso ETL, aunque los datos quedan desordenados una vez que se mueven. La transformación se produce después de la función de carga, lo que evita la ralentización de la migración que puede producirse durante este proceso. ELT separa las etapas de transformación y carga, lo que garantiza que un error de programación (u otro error en la etapa de transformación) no detenga el esfuerzo de migración. Además, ELT evita problemas de escalado de servidores mediante el uso de la potencia de procesamiento y el tamaño del almacén de datos para permitir la transformación (o computación escalable) a gran escala. ELT también funciona con soluciones de almacenamiento de datos en la nube para admitir tipos de datos estructurados, no estructurados, semiestructurados y sin procesar.

etl

ETL tarda más en implementarse, pero da como resultado datos más limpios. Este proceso es adecuado para repositorios de datos de destino más pequeños que requieren actualizaciones menos frecuentes. ETL también trabaja con almacenes de datos en la nube mediante el uso de plataformas SaaS basadas en la nube y almacenes de datos en el sitio.

También existen muchas herramientas ETL de código abierto y comerciales con capacidades y beneficios que incluyen lo siguiente:

• Funciones completas de automatización y facilidad de uso que pueden automatizar todo el flujo de datos y hacer recomendaciones sobre reglas para el proceso de extracción, transformación y carga.
• Una interfaz visual de arrastrar y soltar que se utiliza para especificar reglas y flujos de datos.
• Soporte para la gestión de datos complejos para ayudar con cálculos complejos, integraciones de datos y manipulación de cadenas.
• Seguridad y cumplimiento que cifran datos confidenciales, tanto en movimiento como en reposo, y están certificados de conformidad con las regulaciones de gobierno o de industrias como HIPAA y RGPD. Esto proporciona una forma más segura de cifrar, eliminar o enmascarar campos de datos específicos para proteger la privacidad del cliente.

elt

Un proceso ELT se utiliza mejor en conjuntos de datos de gran volumen o entornos de uso de datos en tiempo real.

Algunos ejemplos específicos son los siguientes:

• Organizaciones con grandes volúmenes de datos: los sistemas meteorológicos, como los servicios meteorológicos, recopilan, cotejan y utilizan grandes cantidades de datos de forma regular. Las empresas con grandes volúmenes de transacciones también entran en esta categoría. El proceso de extracción, carga y transformación permite transferencias más rápidas de los datos de origen.
• Organizaciones que requieren acceso instantáneo: las bolsas de valores generan y utilizan grandes cantidades de datos en tiempo real, donde los retrasos pueden ser perjudiciales. Además, los grandes distribuidores de materiales y componentes necesitan acceso en tiempo real a datos actualizados para business intelligence.

etl

ETL se utiliza principalmente para sincronizar varios entornos de uso de datos y migrar datos desde sistemas existentes.
A continuación, algunos ejemplos concretos:

• Organizaciones que necesitan sincronizar datos de varias fuentes: las empresas que se fusionan pueden tener múltiples consumidores, proveedores y socios en común. Estos datos pueden almacenarse en repositorios de datos separados y formatearse de manera diferente. ETL trabaja para transformar los datos en un formato unificado antes de cargarlos en la ubicación de datos de destino.
• Organizaciones que necesitan migrar y actualizar sus datos desde sistemas heredados: los sistemas heredados requieren el proceso ETL para transformar los datos a un formato compatible con la nueva estructura de la base de datos de destino.

Las diferencias clave entre ELT y ETL son el orden de las operaciones entre los dos procesos que los hace especialmente adecuados para diferentes situaciones. Otras diferencias están en el tamaño de los datos y los tipos de datos que cada proceso puede manejar. Aunque ELT y ETL suenan similares, su aplicación es diferente.

elt

Con ELT, el proceso se simplifica en que no necesita "claves" u otros identificadores para transferir y emplear los datos. El proceso ELT se ha refinado y hay muchas herramientas ELT evolucionadas que se utilizan para ayudar a migrar datos. Los tiempos de carga son más cortos porque el proceso no tiene tantos pasos por recorrer. La solución ELT para sistemas de business intelligence surge de la necesidad de poder cargar rápidamente datos no estructurados. Una solución ELT automatizada basada en la nube también puede requerir relativamente poco mantenimiento.

etl

Los datos ETL ofrecen más definición desde el principio, lo que suele requerir más tiempo para transferir los datos con precisión. Este proceso solo requiere actualizaciones periódicas de la información, en lugar de actualizaciones en tiempo real. Los tiempos de carga de ETL son más largos que los de ELT debido a los muchos pasos en la etapa de transformación que deben ocurrir antes de cargar los datos.

IBM ofrece servicios y soluciones de integración de datos para admitir un pipeline de datos preparado para entrar en funcionamiento y proporcionar a su empresa las herramientas que necesita para escalar de forma eficiente.

IBM, líder en integración de datos on premises y basados en la nube, brinda a las empresas la confianza que necesitan al gestionar proyectos de big data, aplicaciones y tecnología de machine learning. Con plataformas líderes en la industria, como IBM® Cloud Pak for Data, las organizaciones pueden modernizar sus procesos de DataOps y, al mismo tiempo, utilizar las mejores herramientas de virtualización de su clase para lograr la velocidad y escalabilidad que su negocio necesita ahora y en el futuro.

Para obtener más información sobre cómo su empresa puede crear y ejecutar una estrategia de integración de datos eficaz, explore la suite de ofertas de integración de datos de IBM.

Regístrese para obtener un IBMid y cree su cuenta de IBM Cloud