ELT (extracción, carga, transformación) es un proceso de integración de datos en el que los datos sin procesar se mueven de un sistema de origen a un sistema de destino. Los sistemas de destino pueden incluir un almacén de datos en la nube, un data lake o un lakehouse de datos.
ELT se conoce comúnmente como contraparte de la integración de datos ETL (o extracción, transformación, carga). Sin embargo, a diferencia del ETL, los pipelines ELT sitúan la transformación de datos al final del proceso de integración de datos, en lugar de en el centro. Este enfoque permite un movimiento de datos más rápido de origen a destino, produciendo la transformación de datos dentro del sistema objetivo.
Las organizaciones confían en ELT para gestionar los crecientes ecosistemas de datos dentro de entornos de nube. ELT permite a las empresas aprovechar la potencia informática y la elasticidad de las plataformas en la nube para transformar sus datos según sea necesario, a escala. Esta flexibilidad permite a las empresas consumir y transformar datos de fuentes y formatos diversos, y mantener el acceso a datos sin procesar para futuros casos de uso. También les permite crear pipelines con bajos costes iniciales.
Aunque ELT fue inicialmente un proceso basado en lotes, puede soportar la integración de datos en transmisión utilizando plataformas de transmisión de datos en tiempo real como Apache Kafka. Otras herramientas clave de ELT incluyen soluciones de integración y transformación de datos que se integran con los principales repositorios de datos.
Manténgase al día sobre las tendencias más importantes e intrigantes del sector en materia de IA, automatización, datos y mucho más con el boletín Think. Consulte la Declaración de privacidad de IBM.
ELT permite a las empresas almacenar volúmenes masivos de datos rápidamente y aprovechar los beneficios de la arquitectura de datos nativa de la nube.
ELT se convirtió en un proceso de integración integral a partir de 2010 por al menos dos razones clave:
A medida que las organizaciones buscaban gestionar grandes conjuntos de datos sin precedentes, recurrieron a entornos en la nube. Los entornos en la nube pueden ofrecer un almacenamiento más escalable y menos costoso que en las instalaciones. En otras palabras, a menudo se consideran un almacén ideal para conjuntos de datos en crecimiento y diversos.
Y lo que es igual de importante, las plataformas en la nube y los almacenes de datos basados en la nube permitían la transformación de datos a escala. Este modelo significaba que ya no era necesario transformar los datos en medio de un pipeline de datos, como en los pipelines ETL tradicionales. En su lugar, los datos se pueden transformar de manera eficiente en el sistema de destino: el enfoque ELT.
Los ingenieros de datos suelen preferir el ELT porque gestiona mejor grandes volúmenes de datos y admite datos más diversos (incluidos los semiestructurados y los no estructurados) que el ETL tradicional. Mantener la disponibilidad de los datos sin procesar también tiene ventajas: antes de ejecutar las transformaciones, los diferentes equipos y científicos de datos pueden adaptar la lógica de transformación para satisfacer sus necesidades específicas y, al mismo tiempo, conservar los datos sin procesar para las necesidades futuras, desde el análisis hasta el machine learning.
"Se trata de su caso de uso y de lo que está tratando de lograr", dijo Jamil Spain, asesor técnico sénior de IBM. "Puede tener sentido cargar primero y luego entrar en un entorno aislado y averiguar qué datos tiene. A partir de ahí, puede trabajar para transformarlo al formato que desee".
Históricamente, el ELT era un proceso orientado a lotes. Sin embargo, los avances en ingeniería de datos ahora hacen posible implementar ELT con plataformas de transmisión de eventos como Apache Kafka para integrar datos en streaming y soportar análisis en tiempo real.
"Cuando llegan los datos sin procesar, los metes en ciertos temas de Kafka y es más como un flujo en evolución", explicó Spain. “Entonces puedo escribir lógica de programación para resumir o realizar cálculos… Puedo analizar los datos a medida que crecen.”
Si bien Kafka es una solución de código abierto, las soluciones de nivel empresarial como Confluent , una empresa de IBM, pueden mejorar las implementaciones de Kafka con capacidades mejoradas de gestión de datos, gobierno seguro, conectores prediseñados y atención al cliente.
ELT consta de tres etapas principales: extracción, carga y transformación. Cada una de estas etapas se detalla en las siguientes secciones.
Durante la extracción de datos, los datos se copian o exportan desde las ubicaciones de origen. Los datos pueden consistir en muchos tipos de datos y proceder de prácticamente cualquier fuente de datos estructurados o no estructurados, incluyendo, entre otros:
Los datos extraídos se mueven a un área de almacenamiento de datos, como un almacén de datos o un data lake. Durante esta etapa se puede realizar una cantidad mínima de proceso de datos , incluyendo cierta limpieza de datos, como por ejemplo, la corrección de valores ausentes.
Normalmente, la carga tiene lugar durante el horario laboral, cuando los consumidores buscan utilizar los datos para análisis o Perspectivas urgentes y no tienen tiempo para esperar a los procesos ETL tradicionales.
En esta etapa, los datos se transforman dentro de los datos del sistema de destino utilizando herramientas como SQL y Data Build Tool (dbt). Esta etapa puede incluir:
Es posible confundir ELT con un proceso relacionado conocido por una abreviatura casi idéntica. Sin embargo, existen varias diferencias claras entre ELT (extraer, cargar, transformar) y ETL (extraer, transformar, cargar).
La principal diferencia entre los dos es el orden de las operaciones. A diferencia de ELT, ETL realiza la función de transformación antes que la función de carga. Las diferencias más importantes entre los dos procesos incluyen:
ELT | ETL | |
Orden y ubicación de los pasos | Tras la extracción, los datos sin procesar se cargan en un sistema de destino y se transforman en ese sistema. | Después de la extracción, la transformación de datos se produce en tránsito, dentro de un área de preparación, antes de que los datos se carguen en un sistema de destino. |
Tipo de datos | Diseñado para gestionar datos estructurados, semiestructurados y datos no estructurados con un enfoque de esquema según la lectura aplicado en el destino. | Ideal para datos estructurados que se pueden transformar para ajustarse a un esquema predefinido. |
Volumen de datos | Diseñado para big data. | Ideal para conjuntos de datos más pequeños. |
Velocidad | Los datos llegan al sistema de destino más rápido, pero los datos no estructurados pueden tardar en formatearse dentro del sistema de destino antes de poder utilizarse. | El movimiento de datos se ralentiza cuando la transformación se produce en tránsito, pero llega listo para su análisis en el sistema de destino. |
Coste | Menor coste inicial gracias a pilas de datos relativamente sencillas, pero los volúmenes de datos impredecibles pueden generar costes imprevistos más adelante. | Los costes iniciales más elevados relacionados con la infraestructura y la ingeniería de datos son esenciales para la transformación. |
Mantenimiento | Menores necesidades de mantenimiento gracias a pilas de datos más sencillas. | Mayores necesidades de mantenimiento, ya que los pipelines requieren una reingeniería para adaptarse a los cambios en las fuentes de datos y a los requisitos de datos posteriores. |
Protección y seguridad de los datos | Los programas de gobierno y las medidas de seguridad pueden mitigar el riesgo de brechas basadas en la nube que exponen datos sin procesar confidenciales. | Los datos confidenciales, como la información de identificación personal (PII), pueden enmascararse durante la transformación en tránsito antes de cargarse en el destino final. |
ELT ofrece varias ventajas para los usuarios que integran el proceso en sus flujos de trabajo.
A pesar de todos sus beneficios, implementar la ELT puede conllevar su cuota de desafíos.
Sin transformaciones en tránsito para limpiar y organizar los datos, las empresas podrían encontrarse con problemas de calidad de los datos, cumplimiento y seguridad en los datos sin procesar entregados a los sistemas objetivo. Los programas de gobierno de datos pueden ayudar a abordar estas preocupaciones haciendo cumplir estándares de calidad de los datos y cumplimiento de los datos, así como prácticas de seguridad como el cifrado de datos y los controles de acceso basados en roles.
Aunque el uso de recursos elásticos en la nube puede ser rentable, los costes pueden aumentar con el tiempo a medida que crecen los volúmenes de datos. El uso de cloud cost optimization de costes en la nube, una práctica que consiste en estrategias y herramientas para ayudar a reducir los gastos en la nube, puede permitir a las empresas evitar facturas más altas de lo esperado.
Dado que ELT se diseñó para funcionar con una infraestructura de nube moderna, las empresas que utilizan infraestructura en las instalaciones y sistemas heredados suelen encontrar que la arquitectura de pipeline tradicional, es decir, los pipelines ETL, se adapta mejor a sus necesidades de integración de datos.
La implementación de flujos de trabajo ELT requiere herramientas de integración y transformación de datos.
Las principales soluciones de integración de datos suelen ofrecer la flexibilidad necesaria para admitir tanto ELT como los pipelines ETL tradicionales. Otras características clave pueden incluir:
Las herramientas de integración de datos compatibles con ELT van desde soluciones comerciales como IBM® DataStage y Fivetran hasta soluciones de código abierto como Airbyte.
La herramienta estándar del sector para la transformación de datos es la herramienta de creación de datos (dbt). Las tareas clave relacionadas con los datos habilitadas por dbt incluyen:
Las empresas suelen utilizar dbt para transformar datos en almacenes de datos como Amazon Redshift y Google BigQuery, plataformas de gestión de datos como Snowflake y lakehouses de datos como watsonx.data.
ELT se utiliza normalmente en entornos de uso de datos de gran volumen o en tiempo real. Algunos ejemplos son:
ELT permite la ingesta rápida de diversos datos, a menudo críticos para las cargas de trabajo de inteligencia artificial y machine learning. Dado que los datos se cargan en su formato original, se pueden reutilizar para crear y entrenar diferentes modelos de IA. Según un informe de la Sloan School of Management del MIT, la reutilización de datos mejora el rendimiento de las iniciativas empresariales impulsadas por IA.
ELT permite a las empresas consolidar los datos de los clientes de diferentes fuentes para informar las iniciativas de segmentación y personalización. Por ejemplo, consumir y analizar información sobre los historiales de compra de los clientes, los comportamientos de navegación y las características demográficas puede ayudar a los minoristas de comercio electrónico a diseñar ofertas y descuentos personalizados.
Las empresas pueden utilizar el ELT para agregar datos de forma eficiente entre sistemas y luego aplicar transformaciones para cumplir con requisitos regulatorios específicos, todo ello manteniendo las pruebas de auditoría y el acceso a los datos sin procesar originales. Un estudio reveló que los sistemas ELT en nube híbrida pueden reducir la latencia en la elaboración de informes de riesgos, financieros y normativos en un 40 %.
El ELT soporta la ingestión de datos de sensores, dispositivos del Internet de las Cosas (IoT) y sistemas de gestión de inventario . Este enfoque puede informar analytics que mejoren el enrutamiento de entrega y la gestión de inventario. Por ejemplo, el análisis de los datos ingeridos sobre ventas y cumplimiento de pedidos puede ayudar a los minoristas a optimizar los niveles de inventario para evitar desabastecimientos.
Cree y gestione canalizaciones de datos de streaming inteligentes a través de una interfaz gráfica intuitiva, y facilite una integración de datos fluida en entornos híbridos y multinube.
Watsonx.data le permite escalar la analítica y la IA con todos sus datos, residan donde residan, a través de un almacén de datos abierto, híbrido y gobernado.
Desbloquee el valor de los datos empresariales con IBM Consulting, y construya una organización impulsada por conocimientos que ofrezca ventajas empresariales.
