¿Qué es un data lake?

Los lagos de datos surgieron para ayudar a las organizaciones a lidiar con la avalancha de big data, en gran parte desestructurada, creada por aplicaciones y servicios conectados a Internet a fines de la década de 2000 y principios de 2010.  

A diferencia de las bases de datos y los almacenes de datos tradicionales, los lagos de datos no requieren que todos los datos sigan un esquema definido. En su lugar, los lagos de datos pueden almacenar diferentes tipos de datos en diversos formatos en un repositorio centralizado. Los lagos de datos también aprovechan la computación en la nube para que el almacenamiento de datos sea más escalable y asequible.

En la actualidad, los lagos de datos son componentes fundamentales de las arquitecturas de datos de muchas organizaciones. Según el estudio de IBM CDO, el 75% de los principales directores de datos (CDO) están invirtiendo en lagos de datos. 

Gracias a su almacenamiento flexible, los lagos de datos pueden ayudar a las organizaciones a eliminar los silos de datos y construir tejidos de datos holísticos. También son útiles para los científicos e ingenieros de datos, que a menudo emplean los lagos de datos para gestionar los enormes conjuntos de datos no estructurados necesarios para las cargas de trabajo de inteligencia artificial (IA) y machine learning (ML).

Durante mucho tiempo, las organizaciones confiaron en bases de datos relacionales (desarrolladas en la década de 1970) y almacenes de datos (desarrollados en la década de 1980) para gestionar sus datos. Estas soluciones siguen siendo partes importantes de los ecosistemas de TI de muchas organizaciones, pero se diseñaron principalmente para conjuntos de datos estructurados.

Con el crecimiento de Internet, y especialmente con la llegada de las redes sociales y los medios de transmisión, las organizaciones se encontraron lidiando con muchos más datos no estructurados, como texto e imágenes de forma libre. Debido a sus estrictos esquemas y a los costos de almacenamiento comparativamente elevados, los almacenes y las bases de datos relacionales estaban mal equipados para gestionar esta afluencia de datos.  

En 2011, James Dixon, entonces director de tecnología de Pentaho, acuñó el término “lago de datos”. Dixon veía el lago como una alternativa al almacén de datos. Mientras que los almacenes entregan datos preprocesados para casos de uso empresarial específicos, Dixon imaginó un lago de datos como un gran conjunto de datos alojados en su formato natural. Los usuarios podrían extraer los datos que necesitaban de este lago y emplearlos como quisieran.

Muchos de los primeros data lakes se crearon en Apache Hadoop, un marco de software de código abierto para el procesamiento distribuido de grandes conjuntos de datos. Estos primeros data lakes se alojaban on premises, pero esto se convirtió rápidamente en un problema a medida que el volumen de datos seguía aumentando.

La computación en la nube ofreció una solución: trasladar los lagos de datos a servicios de almacenamiento de objetos en la nube escalable.

Los lagos de datos siguen evolucionando en la actualidad. Muchas soluciones de data lake ofrecen ahora características más allá del almacenamiento de información escalable y económico, como herramientas de seguridad y control de datos, catálogos de datos y administración de metadatos

Los lagos de datos también son componentes básicos de los lagos de datos de casa, una solución de gestión de datos relativamente nueva que combina el almacenamiento de bajo costo de un lago y las capacidades de análisis de alto rendimiento de un almacén. (Para obtener más información, consulte “Lagos de datos vs. lagos de datos de casa”).

Mientras que los primeros lagos de datos se construyeron en Hadoop, el núcleo de un lago de datos moderno es un servicio de almacenamiento de objetos en la nube. Las opciones comunes incluyen Amazon Simple Storage Service (Amazon S3), Microsoft Azure Blob Almacenamiento, Google Cloud Almacenamiento e IBM Cloud Object Storage

Cloud object storage permite a las organizaciones almacenar diferentes tipos de datos sin procesar, todo en el mismo almacenamiento. También es generalmente más Escalable y más rentable que el almacenamiento on premises. Los proveedores de Cloud storage permiten a los usuarios poner en marcha grandes clústeres bajo demanda, lo que requiere un pago solo por el almacenamiento utilizado.

Los recursos de almacenamiento y computación están separados entre sí en una arquitectura de lago de datos. Para procesar datos, los usuarios deben conectar herramientas externas de procesamiento de datos. Apache Spark, que admite interfaces como Python, R y Spark SQL, es una opción popular.

Desvincular el almacenamiento y la computación ayuda a mantener los costos bajos y la escalabilidad alta. Las organizaciones pueden agregar más almacenamiento sin escalar los recursos informáticos junto con él.  

El almacenamiento central del data lake está conectado a varias fuentes de datos, como bases de datos, aplicaciones, dispositivos de Internet de las cosas (IoT) y sensores, a través de una capa de ingesta.  

La mayoría de los lagos de datos utilizan un proceso de extracción, carga y transformación (ELT) en lugar de un proceso de extracción, transformación y carga (ETL) para Ingesta de datos. Los datos permanecen en su estado original cuando el lago los Ingesta, y no se transforman hasta que se necesitan. Este enfoque—aplicando un esquema solo cuando se accede a los datos—se denomina “schema-on-read.”

Además de estos componentes principales, las organizaciones pueden construir otras capas en sus arquitecturas de data lake para hacerlas más seguras y utilizables. Estas capas pueden incluir:

• Múltiples capas de almacenamiento distintas para adaptarse a las diferentes etapas del procesamiento de datos. Por ejemplo, un lago de datos puede tener una capa para datos sin procesar, una capa para datos limpios y una capa para datos de aplicaciones confiables. 

• Las capas de seguridad y gobernanza, como las soluciones integradas de gobernanza de datos o los controles de gestión de identidad y acceso (IAM), mantienen la calidad de los datos y los protegen contra el acceso no autorizado. 

• Un catálogo de datos para ayudar a los usuarios a encontrar datos fácilmente mediante el uso de filtros de metadatos u otros métodos.

Los lagos de datos, almacenes y lakehouses son todos tipos de herramientas de gestión de datos, pero tienen diferencias importantes. A menudo se utilizan juntos en una arquitectura de datos integrada para admitir varios casos de uso.  

Al igual que un lago de datos, un almacén de datos agrega datos de fuentes de datos Dispar en un único almacenar, generalmente un sistema de base de datos relacional. La diferencia clave es que los almacenes de datos limpian y preparan los datos que Ingesta para que estén listos para su uso en analytics.

Los almacenes de datos están diseñados principalmente para admitir consultas de alto rendimiento, análisis en tiempo real y esfuerzos de business intelligence (BI). Como tales, están optimizados para datos estructurados y estrechamente integrados con Analytics Engine, paneles y herramientas de visualización de datos.

Los almacenes tienden a tener un almacenamiento más caro, menos flexible y menos escalable que los lagos de datos. Las organizaciones suelen emplear los almacenes para proyectos de analytics específicos, mientras que confían en los lagos de datos para el almacenamiento a gran escala, multipropósito.  

Un lakehouse de datos es una solución de gestión de datos que combina el almacenamiento de datos flexible de un lago y las capacidades de analytics de alto rendimiento de un almacén.

Al igual que un lago de datos, un lakehouse de datos puede almacenar datos en cualquier formato a bajo costo. Los lakehouses de datos también construyen una infraestructura de analytics de estilo almacén sobre ese sistema de almacenamiento de data lakes en la cloud, combinando características de las dos soluciones.  

Las organizaciones pueden usar lakehouses para admitir numerosas cargas de trabajo, que incluyen IA, ML, BI y análisis de datos. Los lakehouses también pueden servir como una vía de modernización para las arquitecturas de datos. Las organizaciones pueden colocar lakehouses junto a lagos y almacenes existentes sin un costoso esfuerzo de quitar y reemplazar.  

Los data lakes pueden ayudar a las organizaciones a obtener más valor de sus datos empresariales al facilitar el almacenamiento, el intercambio y el uso de esos datos. Más específicamente, los lagos de datos pueden proporcionar:

• Flexibilidad: los lagos de datos pueden ingerir conjuntos de datos estructurados, semiestructurados y no estructurados. Las organizaciones no necesitan mantener sistemas de almacenamiento separados para los distintos tipos de datos, lo que puede ayudar a simplificar las arquitecturas de datos.

• Bajos costos: los datos no necesitan pasar por un costoso proceso de limpieza y Transformación para el almacenamiento, y el cloud object storage suele ser más barato que las alternativas locales. Las organizaciones pueden optimizar sus Recursos y presupuestos de manera más efectiva a través de iniciativas de gestión de datos.

• Escalabilidad: debido a que los lagos de datos desacoplan los recursos informáticos y de almacenamiento, y debido a que suelen utilizar servicios de almacenamiento en la nube, son más fáciles de ampliar o reducir que muchas otras soluciones de almacenamiento de datos. 

• Menos silos de datos: según los datos de evaluación comparativa del IBM Institute for Business Value, el 61 % de las organizaciones dice que los silos de datos son uno de sus principales desafíos. Los data lakes pueden ayudar a eliminar los silos de datos al eliminar la necesidad de almacenar diferentes tipos de datos en diferentes lugares. Un data lake central o un conjunto de data lakes puede ser más accesible que almacenes de datos dispares repartidos entre unidades de negocio.  

Debido a que no aplican un esquema estricto y aceptan muchos tipos de datos diferentes de muchas fuentes, los lagos de datos pueden tener dificultades con la gobernanza y la calidad de los datos. Sin una gestión adecuada, los lagos de datos pueden convertirse fácilmente en "pantanos de datos": ciénagas desordenadas de datos poco confiables que dificultan que los usuarios obtengan insights procesables.

Para combatir los pantanos de datos, las organizaciones pueden invertir en herramientas de etiquetado y clasificación, como sistemas de administración de metadatos y catálogos de datos, que facilitan la navegación. 

Las soluciones de seguridad y gobernanza de datos, como los controles de acceso, la prevención de pérdida de datos y las soluciones de detección y respuesta de datos pueden ayudar a garantizar que no se acceda, utilice o modifique los datos sin autorización.  

Los lagos de datos no tienen herramientas integradas de procesamiento y consulta como muchos almacenes y casas de lago. Además, el rendimiento de las consultas y el análisis puede verse afectado a medida que crece el volumen de datos que se introducen en un lago de datos, especialmente si los datos no están optimizados para su recuperación.

El uso de las herramientas y configuraciones adecuadas, como formatos de almacenamiento optimizados y motores de consulta, puede ayudar a garantizar un alto rendimiento, independientemente del tamaño del lago de datos.