Inicio
Temas
ELT
ELT, que significa "extraer, cargar, transformar", es otro tipo de proceso de integración de datos, similar a su contraparte ETL, "extraer, transformar, cargar". Este proceso mueve datos sin procesar desde un sistema de origen a un recurso de destino, como un almacén de datos.
Si bien es similar a ETL, ELT es un enfoque diferente a nivel fundamental para el preprocesamiento de datos que recientemente se ha adoptado con la transición a entornos de nube.
Utilice este marco de selección de modelos para elegir el modelo más apropiado mientras equilibra sus requisitos de rendimiento con los costos, los riesgos y las necesidades de despliegue.
ELT consta de tres etapas principales: extraer, cargar y transformar. Cada una de estas etapas se detalla a continuación.
Durante la extracción de datos, los datos se copian o exportan de las ubicaciones de origen a un área de preparación. El conjunto de datos puede constar de muchos tipos de datos y provenir de prácticamente cualquier fuente estructurada o no estructurada, incluidas, entre otras:
Dicho esto, se utiliza de manera más habitual con datos no estructurados.
En este paso, los datos transformados se trasladan desde el área de preparación a un área de almacenamiento de datos, como un almacén de datos o un lago de datos.
En la mayoría de las organizaciones, el proceso de carga de datos está automatizado y bien definido, es continuo y funciona por lotes. Normalmente, ELT tiene lugar durante el horario laboral, cuando el tráfico en los sistemas de origen y el almacén de datos está en su punto álgido y los consumidores esperan para emplear los datos con fines de análisis o de otro tipo.
En esta etapa, se emplea un enfoque de esquema en la escritura, que aplica el esquema para los datos mediante SQL, o transforma los datos, antes del análisis. Esta etapa puede implicar lo siguiente:
Es posible confundir ELT con su proceso hermano conocido por un acrónimo casi idéntico. Sin embargo, existen varias diferencias claras entre ELT y ETL.
Es un proceso de integración de datos que combina datos de múltiples fuentes de datos en un único almacén de datos consistente que se carga en un almacén de datos u otro sistema de destino. Las herramientas ETL tradicionales se diseñaron para crear almacenamiento de datos en apoyo de las aplicaciones de inteligencia empresarial (BI) e inteligencia artificial (AI).
La diferencia obvia es que el proceso ELT realiza la función de carga antes que la función de transformación, una inversión del segundo y tercer paso del proceso ETL. ELT copia o exporta los datos de las ubicaciones de origen, pero en lugar de moverlos a un área de preparación para la transformación, carga los datos sin procesar directamente en el almacén de datos de destino para transformarlos según sea necesario. ELT no transforma ningún dato en tránsito.
Sin embargo, el orden de los pasos no es la única diferencia. En ELT, el almacén de datos de destino puede ser un almacén de datos, pero más a menudo es un data lake, que es una gran tienda central diseñada para almacenar datos estructurados y no estructurados a gran escala.
Los data lakes se gestionan mediante una plataforma de big data (como Apache Hadoop) o un sistema de gestión de datos NoSQL distribuido. Pueden admitir inteligencia empresarial, pero con mayor frecuencia, se crean para admitir inteligencia artificial, machine learning, analítica predictiva y aplicaciones basadas en datos en tiempo real y flujos de eventos.
También existen otras diferencias entre ETL y ELT. Por ejemplo, debido a que transforma los datos antes de moverlos al repositorio central, ETL puede hacer que el cumplimiento de la privacidad de los datos sea más simple o más sistemático que ELT (por ejemplo, si los analistas no transforman los datos confidenciales antes de que necesiten usarlos, podría quedarse desenmascarado en el data lake).
Sin embargo, los científicos de datos pueden preferir ELT, que les permite jugar en un recinto de seguridad de datos sin procesar y hacer su propia transformación de datos adaptada a aplicaciones específicas. Pero, en la mayoría de los casos, la elección entre ETL y ELT dependerá de la elección entre los recursos y las necesidades comerciales disponibles.
ELT ofrece varias ventajas para los usuarios que integran el proceso en sus flujos de trabajo. Echemos un vistazo a algunos de los beneficios notables:
Cuando se generan grandes cantidades de datos en streaming, ELT permite que esos datos se carguen inmediatamente y los transforma después de que llegan a su destino.
Esto evita cualquier desaceleración que a menudo puede ocurrir si la transformación se produce antes de la función de carga, como en ETL. A menudo, es necesario tomar decisiones en relación con estos datos y las demoras son inaceptables. Un ejemplo de esto es el mercado de valores, que genera grandes cantidades de datos que se consumen en tiempo real.
En escenarios como este, ELT es la solución preferida porque la transformación ocurre después de que los datos llegan a su destino.
Debido a que los datos se transforman cuando llegan a su destino, ELT permite que el destinatario de los datos controle la manipulación de datos. Con ELT, el desacoplamiento de las etapas de transformación y carga garantiza que un error de codificación u otro error en la etapa de transformación no afecte a otra etapa.
ELT utiliza la potencia y el tamaño del almacén de datos para permitir la transformación o la computación escalable a gran escala.
El almacén de datos de destino puede aumentar o disminuir los nodos según sea necesario, particularmente en un escenario de nube donde hay múltiples nodos dentro de cada clúster y múltiples clústeres que se pueden utilizar. Esto permite flexibilidad y escalabilidad bajo demanda.
ELT requiere un servidor menos potente para la transformación de datos y aprovecha los recursos que ya se encuentran en el almacén. Esto se traduce en ahorros de costos y eficiencia de recursos.
ELT permite el uso del repositorio de destino de elección, para flexibilidad de costos y recursos.
Los almacenes de datos utilizan la arquitectura MPP (procesamiento masivo paralelo), incluyendo el almacenamiento de volúmenes de datos basado en memoria en columnas. También se admiten los procesos de data lake que aplican un esquema, o modelo de transformación, tan pronto como se reciben los datos (también denominado "esquema en lectura"). Estos procesos eficientes brindan flexibilidad para grandes cantidades de datos.
El funcionamiento continuo es ideal para cualquier entorno que requiera un acceso rápido a los datos.
ELT es muy adecuado para los datos utilizados en entornos de nube que a menudo incluirán aplicaciones a las que se accede a pedido de forma continua. Asimismo, la transformación ELT nativa de la nube proporciona la escalabilidad y flexibilidad mencionadas anteriormente.
Una organización puede optar por realizar la transición de una arquitectura ETL a ELT.
El motivo de la transición podría ser un cambio en el uso de su producto o servicio, de modo que se necesite una respuesta e interacción en tiempo real, o que la cantidad de datos haya crecido exponencialmente y la transformación esté retrasando la etapa de carga debido a las demandas de procesamiento de alto volumen en la infraestructura.
Una organización también puede optar por realizar la transición de ETL a ELT si se ha trasladado a la nube y desea descargar el procesamiento o utilizar los datos en la ubicación de destino antes.
En un panorama de transición, es realista esperar encontrar desafíos. En primer lugar, se utilizan lógica y código completamente diferentes en ELT frente a ETL. Esto podría requerir una reconfiguración completa y posiblemente una nueva infraestructura o un nuevo proveedor con infraestructura en la nube.
Además, con ELT, los datos sin procesar se envían al almacén de destino. Por lo tanto, la seguridad es una consideración y debe implementarse para mantener la seguridad de los datos.
ELT no es una tecnología nueva. Las tablas de preparación se usaban anteriormente para mover datos a un almacén para su procesamiento y transformación, a menudo usando scripts SQL.
Los scripts SQL están codificados de forma rígida y, por lo tanto, están sujetos a posibles errores de codificación. Con el uso de SQL, los clientes tenían que elegir entre la ejecución del almacén nativo mediante scripts SQL y la programación declarativa, también conocida como autoría declarativa.
La autoría declarativa proporciona los beneficios de entornos de almacenamiento de datos basados en la nube más modernos a través de la creación de código que describe lo que el programa debe lograr en lugar de cómo lo logrará. Este proceso evita los errores de codificación inherentes a otros procesos, particularmente cuando la transformación ocurre antes de la función de carga.
ELT se emplea normalmente en entornos de uso de datos de gran volumen o en tiempo real. Algunos ejemplos específicos son:
Algunos ejemplos son las bolsas de valores o los grandes distribuidores mayoristas de acciones, componentes industriales y otros materiales, que necesitan acceder en tiempo real a los datos actuales para disponer de un acceso inmediato a business intelligence.
Los ejemplos incluyen sistemas meteorológicos, como servicios climáticos que recopilan, cotejan y emplean grandes cantidades de datos de forma regular. Las empresas con grandes volúmenes de transacciones también podrían entrar en esta categoría. Una organización, como un laboratorio de astronomía con telescopios extremadamente grandes, genera una gran cantidad de datos que deberán cotejar y analizar. Podría haber una superposición entre las dos categorías, ya que hay muchas industrias que producen y emplean una gran cantidad de datos y necesitan acceso en tiempo real a esos datos.
IBM Cloud Pak for Data es una plataforma de datos abierta y extensible que proporciona una estructura de datos para que todos los datos estén disponibles para la IA y los analytics, en cualquier nube.
La IA está desbloqueando el valor de los datos de nuevas formas. Organice sus datos para que estén listos para un mundo de IA y multinube con soluciones DataOps.
La integración de datos permite transformar datos estructurados y no estructurados y entregarlos a cualquier sistema en una plataforma de big data escalable.