Los sistemas de almacenamiento de datos pueden consumir grandes cantidades de datos de una amplia gama de sistemas de origen, incluidas bases de datos operativas, sistemas transaccionales y plataformas de gestión de la relación con el cliente (CRM). Las herramientas de análisis de autoservicio permiten a los usuarios empresariales explorar y analizar estos datos para obtener perspectivas valiosas.
El concepto de almacén de datos surgió en la década de 1980 para integrar datos dispares en un formato coherente para el análisis. A medida que aumentaba el número de nuevas fuentes de datos, como la World Wide Web, las redes sociales y el Internet de las cosas (IoT), crecía la demanda de mayor capacidad de almacenamiento y análisis más rápidos.
Los almacenes de datos están configurados y optimizados para realizar análisis casi en tiempo real, lo que significa que no suelen ser ideales para almacenar cantidades masivas de big data sin estructurar. A medida que crece la cantidad de datos en un almacén, el coste y la complejidad del almacenamiento crecen con ella. También pueden surgir problemas de latencia y rendimiento.
En respuesta, evolucionaron alternativas más flexibles, incluidos los almacenes de datos nativos de la nube y los lakehouses de datos. Para obtener más información, consulte "almacén de datos frente a lakehouse de datos".
Los almacenes de datos suelen utilizar una arquitectura de tres niveles diseñada para transformar los datos para los análisis:
Los datos fluyen desde varios sistemas fuente a un servidor de almacén de datos, donde se almacenan. Tradicionalmente, los datos pasan por un proceso de integración de datos de extracción, transformación y carga (ETL), que utiliza la automatización para limpiar y organizar los datos antes de cargarlos en el almacén.
Dado que los almacenes de datos almacenan principalmente datos estructurados, la transformación de los datos se produce antes de la carga de los datos. En su lugar, algunos almacenes modernos utilizan procesos de extracción, carga y transformación (ELT), que cargan los datos en el almacén antes de transformarlos. Este método se utiliza habitualmente en data lakes, que pueden almacenar datos no estructurados y semiestructurados sin necesidad de formatos estandarizados.
Este nivel contiene el motor de análisis, a menudo impulsado por un sistema de procesamiento analítico en línea (OLAP). Aunque las bases de datos relacionales tradicionales, incluidos muchos almacenes de datos, pueden almacenar datos multidimensionales (por ejemplo, las cifras de ventas pueden tener varias dimensiones, como ubicación, tiempo y producto), no están optimizadas para consultas multidimensionales.
Los sistemas OLAP están diseñados para realizar consultas complejas a alta velocidad y análisis multidimensionales sobre grandes volúmenes de datos. Utilizan "cubos" (estructuras de datos multidimensionales basadas en matrices) para permitir un análisis más rápido y flexible en múltiples dimensiones. Los casos de uso comunes incluyen la extracción de datos, el análisis financiero, la elaboración de presupuestos y la planificación de previsiones.
OLAP versus OLTP: los sistemas de procesamiento de transacciones en línea (OLTP) capturan y actualizan grandes volúmenes de transacciones en tiempo real de muchos usuarios. Por el contrario, los sistemas OLAP analizan datos que ya han sido capturados.
Hay tres tipos de OLAP que se pueden utilizar en un almacén de datos:
La capa final de un almacén de datos proporciona una interfaz de usuario front-end para informes, paneles de control y análisis de datos ad hoc de datos empresariales. Estas herramientas de inteligencia empresarial de autoservicio permiten a los usuarios generar informes basados en datos históricos, visualizar tendencias e identificar cuellos de botella en el flujo de trabajo sin necesidad de conocimientos técnicos de ingeniería de datos.
Manténgase al día sobre las tendencias más importantes e intrigantes del sector en materia de IA, automatización, datos y mucho más con el boletín Think. Consulte la Declaración de privacidad de IBM.
Los almacenes de datos han evolucionado de manera significativa, pasando de sistemas exclusivamente locales a modelos flexibles de nube y híbridos.
Históricamente, los almacenes de datos se alojaban en local utilizando hardware de serie. Estos sistemas se organizaron en arquitecturas de procesamiento paralelo masivo (MPP) o multiprocesamiento simétrico (SMP). También se distribuían como dispositivos independientes. Estas implementaciones requieren una inversión significativa. Sin embargo, pueden ser una buena opción para organizaciones en sectores con estrictos estándares de cumplimiento, seguridad de datos o protección de datos.
Hoy en día, muchos almacenes de datos se construyen para funcionar en la nube. Ofrecen los beneficios de cloud computing, como el almacenamiento de datos a escala de petabytes, computación y almacenamiento escalables y precios de pago por uso. Los almacenes de datos basados en la nube se entregan como una oferta de software como servicio (SaaS) totalmente gestionada, lo que elimina la necesidad de invertir por adelantado en hardware o software.
Esta prestación de servicios también reduce los recursos necesarios para la gestión de la infraestructura, de modo que las organizaciones pueden centrarse en el análisis y las perspectivas. Los almacenes de datos basados en la nube han ganado popularidad a medida que las organizaciones buscan la agilidad necesaria para escalar y reducir el espacio que ocupan en los centros de datos locales y el gasto en infraestructuras antiguas.
Algunas organizaciones podrían adoptar un modelo híbrido, que combine lo mejor de los almacenes de datos en las instalaciones y en la nube. Este enfoque les permite beneficiarse de la escalabilidad y la flexibilidad de la nube y, al mismo tiempo, conservar el control de las cargas de trabajo confidenciales que deben permanecer en las instalaciones.
En un almacén de datos, los esquemas definen cómo se organizan los datos. Hay tres estructuras de esquema comunes: el esquema de estrella, el esquema de copo de nieve y el esquema de galaxias (también llamado esquema de constelación de hechos).
Todos estos esquemas son modelos de datos dimensionales diseñados para optimizar la velocidad de recuperación de datos en sistemas OLAP. Los modelos dimensionales pueden aumentar la redundancia, lo que facilita la localización de información para informes y recuperación y mejora el rendimiento de las consultas.
Estos esquemas contienen tablas de hechos y tablas de dimensiones, definidas de la siguiente manera:
Los esquemas en estrella constan de una única tabla de hechos central rodeada de tablas de dimensiones. En un diagrama, la tabla de hechos puede parecer estar en medio de un patrón de estrella. El esquema en estrella se considera el tipo de esquema más simple y común, que ofrece a los usuarios velocidades de consulta más rápidas.
Un esquema de copo de nieve coloca una tabla de hechos central en el núcleo, con numerosas tablas de dimensiones normalizadas que irradian hacia afuera y esas dimensiones se extienden a otras tablas de dimensiones a través de relaciones de muchos a uno. Este patrón complejo y ramificado puede parecerse a un copo de nieve. Los esquemas de copo de nieve tienen bajos niveles de redundancia de datos, pero este beneficio conlleva un coste en el rendimiento de las consultas más lento.
Al igual que una galaxia contiene muchas estrellas, un esquema de galaxia contiene múltiples esquemas de estrella. Estos esquemas comparten tablas de dimensiones que están normalizadas para reducir la redundancia. El esquema de galaxia es más adecuado para almacenes de datos muy complejos, pero los usuarios pueden experimentar un rendimiento más bajo.
Una arquitectura típica de almacén de datos tiene varios componentes que trabajan juntos para almacenar, gestionar, procesar y entregar datos para análisis.
Las herramientas ETL extraen datos de los sistemas de origen, los transforman en un área de almacenamiento y los cargan en el almacén de datos. En ELT, los datos se transforman después de cargarse en el almacén. Una herramienta de marco de proceso de datos, como Apache Spark, puede ayudar a gestionar la transformación de los datos.
Una capa de conectividad para las interfaces de programación de aplicaciones (API) puede ayudar al almacén a extraer datos de los sistemas operativos e integrarlos con ellos. Las API también pueden proporcionar acceso a herramientas de visualización y análisis.
La capa de datos (o base de datos central) es el corazón del almacén de datos. Aquí, el sistema integra y almacena datos de diversas fuentes, como aplicaciones comerciales, listas de correo electrónico, sitios web u otras bases de datos. Los pipelines de datos ETL o ELT soportan esta capa y un sistema de gestión de bases de datos relacional (RDBMS) o una plataforma de almacén de datos en la nube la impulsa. Las capacidades de seguridad y gobierno de datos integradas pueden particionar los datos para que los usuarios accedan a lo que necesitan.
Los metadatos son datos sobre datos, que describen los datos que se almacenan en un sistema para que se puedan buscar y utilizar para el análisis. Incluye metadatos técnicos (como la estructura de la tabla y el tipo de datos) y metadatos descriptivos (como el autor, la fecha de creación o el tamaño del archivo). Los metadatos son clave para un gobierno y una gestión de datos eficaces.
Algunos almacenes de datos proporcionan un entorno aislado, que es un entorno de pruebas aislado que contiene una copia de los datos de producción y las herramientas de análisis pertinentes. Los analistas de datos y científicos de datos pueden probar nuevas técnicas analíticas en el entorno aislado sin afectar a las operaciones de almacén en vivo.
Las herramientas de acceso se conectan a un almacén de datos y proporcionan un front-end accesible. Los usuarios empresariales y los analistas de datos pueden utilizar paneles de control, aplicaciones y herramientas de visualización de datos para interactuar con los datos y extraer perspectivas. Algunas de estas herramientas son Tableau, Looker y Qlik.
Hay tres tipos principales de almacén de datos:
Un almacén de datos empresariales (EDW) es un almacén de datos que da servicio a toda la empresa. Actúa como un repositorio de información centralizado de datos históricos para todos los equipos y áreas temáticas. Un entorno de almacenamiento de datos empresarial también puede incluir un almacén de datos operativos (ODS) y almacenes de datos (data marts) específicos del departamento.
Un almacén de datos operativos (ODS) contiene la instantánea más reciente de los datos operativos. Un ODS se actualiza con frecuencia, lo que permite un acceso rápido a los datos casi en tiempo real. Las organizaciones suelen utilizar un ODS para la toma de decisiones operativas diarias y el análisis en tiempo real. También puede ser una fuente de datos para un EDW u otros sistemas de datos.
Un data mart es un subconjunto de un almacén de datos existente (u otras fuentes de datos) y contiene datos adaptados a una línea de negocio o departamento específico en lugar de a toda la empresa. Por ejemplo, una empresa puede tener un almacén de datos que se alinee con el departamento de marketing. Esos usuarios pueden acceder a perspectivas más específicas para la segmentación de clientes y el rendimiento de las campañas sin navegar por el conjunto de datos empresariales más amplio.
Los términos almacén de datos, base de datos, data lake y lakehouse de datos a veces se utilizan indistintamente, pero existen diferencias importantes.
Una base de datos es como un archivador creado principalmente para la captura automatizada de datos y el procesamiento rápido de transacciones. Normalmente sirve como almacén de datos específico para una aplicación concreta. Los almacenes de datos almacenan datos de cualquier número de aplicaciones en una organización y están optimizados para análisis predictivo y otros análisis avanzados.
Un data lake es una solución de almacenamiento de bajo coste para cantidades masivas de datos sin procesar y utiliza un enfoque de esquema en lectura en lugar de un esquema predefinido. Los data lakes pueden almacenar datos estructurados, datos no estructurados y datos semiestructurados, como documentos, vídeos, registros del Internet de las cosas (IoT) y publicaciones en redes sociales.
Se pueden crear en plataformas de big data como Apache Hadoop o en servicios de almacenamiento de objetos en la nube como Amazon Simple Storage Service (Amazon S3). Por lo general, no limpian, validan ni normalizan los datos para el análisis, como lo hace un almacén.
Un lakehouse de datos combina los puntos fuertes de los almacenes de datos y los data lakes, ofreciendo la flexibilidad de bajo coste de un data lake junto con el alto rendimiento de un almacén de datos. Al combinar las características clave de los lakes y los almacenes en una única plataforma de datos, los lakehouses pueden acelerar el procesamiento de grandes volúmenes de datos estructurados, no estructurados y en tiempo real.
También admiten cargas de trabajo de machine learning, ciencia de datos e inteligencia artificial (IA) de forma más eficiente. Los lakehouses de datos también pueden añadir características como metadatos compartidos y motores de Structured Query Language (SQL) distribuidos.
Los almacenes de datos ponen los conocimientos y la información a disposición de los usuarios de toda una organización, ofreciendo muchos beneficios, como:
A través de procesos ELT o ETL, los almacenes de datos preparan los datos entrantes antes de que se almacenen en el almacén de datos. Esta preparación incluye métodos de calidad de los datos como la limpieza de datos, la estandarización y la deduplicación. Las políticas y prácticas sólidas de gobierno de datos también pueden ayudar a garantizar la precisión e integridad de los datos para todos los usuarios.
Al integrar datos de alta calidad en un único almacén, las organizaciones crean una única fuente fiable completa y de confianza, lo que ayuda a eliminar los silos de datos. Este repositorio central permite a los usuarios empresariales acceder con confianza a todos los datos pertinentes de la organización y utilizarlos para la toma de decisiones empresariales. Un almacén de datos de nivel empresarial podría incluir también soporte para formatos de código abierto, como Apache Iceberg, Parquet y CSV, lo que permitiría un mayor acceso a los datos y compartirlos a través de toda la empresa.
Los almacenes de datos modernos pueden admitir varios flujos de trabajo de IA y machine learning proporcionando datos limpios y fiables. Los científicos de datos pueden utilizar datos de almacén limpios y validados para crear modelos de IA generativa patentados o afinar los modelos existentes para satisfacer mejor sus necesidades empresariales únicas.
Un almacén de datos preparado para la IA debe ser capaz de recopilar, limpiar, organizar y estructurar datos, así como facilitar el flujo de datos a las plataformas de IA y machine learning. Sin embargo, no todos los almacenes de datos modernos están optimizados para cargas de trabajo de IA. Los lakehouses de datos se están convirtiendo cada vez más en las plataformas de datos preferidas para la infraestructura de IA.
Un almacén de datos centraliza y limpia los datos de diferentes fuentes para crear una única fuente fiable, proporcionando a las organizaciones una visión completa y veraz de los datos empresariales. Las herramientas de BI de autoservicio permiten a los usuarios de toda la empresa acceder y ejecutar consultas analíticas sobre estos datos agregados.
De esta manera, los almacenes de datos permiten a los usuarios empresariales de cualquier nivel de habilidad técnica descubrir e informar sobre temas, tendencias y agregaciones. Los líderes empresariales pueden utilizar estos conocimientos para tomar decisiones y realizar previsiones basadas en evidencia sólida en prácticamente todas las áreas de la organización, desde los procesos de negocios hasta la gestión financiera y la gestión de inventario.
Los almacenes de datos también pueden servir para usos específicos del sector, como:
Las capacidades analíticas de un almacén de datos pueden ayudar a los gobiernos a comprender mejor fenómenos complejos como la delincuencia, las tendencias demográficas y los patrones de tráfico.
La capacidad de centralizar y analizar datos dispares, como códigos de facturación y diagnóstico, datos demográficos de pacientes, medicamentos y resultados de pruebas, puede proporcionar a los proveedores de asistencia sanitaria unas perspectivas más profundas. Dichas perspectivas les ayudan a comprender los resultados de los pacientes, mejorar la eficiencia operativa y mucho más.
Las organizaciones pueden utilizar datos históricos relacionados con las opciones de viaje y alojamiento para dirigir con mayor precisión la publicidad y las promociones a sus clientes.
Las grandes empresas manufactureras que generan enormes volúmenes de datos pueden utilizar soluciones de almacenamiento de datos para crear almacenes de datos adaptados a las necesidades de cada departamento.
Un almacén de datos puede ser una opción inteligente si su organización agrega grandes cantidades de datos de múltiples sistemas operativos, como aplicaciones empresariales (BI), sitios web y otras bases de datos. Es especialmente útil si planea realizar análisis históricos complejos con herramientas de BI o paneles de control.
Para optimizar los costes, busque arquitecturas que separen los recursos de datos y de procesamiento y le permitan escalarlos por separado. También puede utilizar el almacenamiento de objetos rentable y la gestión de carga de trabajo con IA para la distribución automatizada de recursos. Los formatos de datos abiertos facilitan el compartir datos entre almacenes y lakehouses, reduciendo los costes de almacenamiento y la complejidad.
Unos procesos ETL/ELT sólidos para la limpieza y normalización de los datos, unas políticas sólidas de gobierno de datos y observabilidad de los datos para detectar los problemas a medida que surgen pueden ayudar con los problemas de calidad de los datos. Un enfoque "shift left" también puede ayudar a detectar y resolver problemas de calidad de los datos más cerca de la causa raíz que de forma descendente.
Una base de datos se construye principalmente para el procesamiento rápido de transacciones y, por lo general, sirve como almacenamiento de datos para una aplicación específica. Un almacén de datos agrega grandes volúmenes de datos de diversas fuentes, luego los limpia y prepara para business intelligence, consultas analíticas y otros análisis avanzados de datos.
Los ingenieros de datos construyen y mantienen la infraestructura, mientras que un director de datos establece la estrategia de datos y supervisa las funciones de gestión de datos. Los equipos de business intelligence gestionan las capas semánticas y los paneles de control, y los equipos de gobierno de datos multifuncionales ayudan a garantizar la calidad y seguridad de los datos.
Watsonx.data permite escalar el análisis y la IA con todos sus datos, independientemente de dónde se encuentren, a través de un almacén de datos abierto, híbrido y gobernado.
Impulse sus aplicaciones, análisis e IA con cualquier tipo de datos en un lakehouse de datos abierto
Escale con éxito la IA con la estrategia, los datos, la seguridad y el gobierno adecuados.