Publicado: 19 de junio de 2024
Colaboradores: Molly Hayes, Amanda Downie
La transformación de datos es una parte crucial del proceso de integración de datos en el que los datos sin procesar se convierten en un formato o estructura unificado. La transformación de datos garantiza la compatibilidad con los sistemas de destino y mejora la calidad y la usabilidad de los datos. Es un aspecto esencial de las prácticas de gestión de datos, incluida la disputa de datos, el análisis de datos y el almacenamiento de datos.
Aunque los especialistas pueden transformar los datos manualmente, las grandes franjas de datos necesarias para impulsar las aplicaciones empresariales modernas suelen requerir cierto nivel de automatización. Las herramientas y tecnologías implementadas a través del proceso de conversión de datos pueden ser simples o complejas.
Por ejemplo, una transformación de datos puede ser tan sencilla como convertir un campo de fecha (por ejemplo: DD/MM/AA) en otro, o dividir una sola columna de Excel en dos. Pero las transformaciones de datos complejas, que limpian y estandarizan los datos de múltiples fuentes dispares y constan de múltiples flujos de trabajo, pueden implicar habilidades avanzadas de ciencia de datos.
Estas funciones avanzadas de ingeniería de datos incluyen la normalización de datos, que define las relaciones entre los puntos de datos; y el enriquecimiento de datos, que complementa la información existente con conjuntos de datos de terceros.
En la economía global digital actual, las transformaciones de datos ayudan a las organizaciones a aprovechar grandes volúmenes de datos de diferentes fuentes para mejorar el servicio, entrenar modelos de machine learning e implementar análisis de big data.
Al estandarizar los conjuntos de datos y prepararlos para su posterior procesamiento, la transformación de datos hace posibles varias prácticas cruciales de datos empresariales. Las razones más comunes para la transformación de datos en el mundo empresarial incluyen:
Las organizaciones transforman los datos para utilizarlos en aplicaciones de inteligencia empresarial como cuadros de mando en tiempo real e informes de previsiones, lo que permite tomar decisiones basadas en datos que tienen en cuenta grandes cantidades de información.
La transformación de datos prepara los datos para su almacenamiento y gestión en un almacén de datos o data lake, lo que facilita la consulta y el análisis eficientes.
Los modelos de machine learning requieren datos limpios y organizados. Garantizar que los datos sean fiables y estén en el formato correcto permite a las organizaciones utilizarlos para entrenar y ajustar las herramientas de inteligencia artificial (IA).
Antes de que el big data pueda analizarse con fines de inteligencia empresarial, estudios de mercado u otras aplicaciones, debe recopilarse y formatearse adecuadamente.
Mover datos de sistemas locales más antiguos a plataformas modernas como un almacén de datos en la nube o un lakehouse de datos a menudo implica transformaciones de datos complejas.
Las transformaciones de datos suelen seguir un proceso estructurado para producir datos utilizables y valiosos a partir de su forma bruta. Los pasos comunes en un proceso de transformación de datos incluyen:
Durante el proceso de detección, se recopilan datos de origen. Este proceso puede incluir la extracción de datos brutos de API, una base de datos SQL o archivos internos en formatos dispares. Al identificar y extraer esta información, los profesionales de datos se aseguran de que la información recopilada es exhaustiva y relevante para su posible aplicación. Durante el descubrimiento, los ingenieros también comienzan a entender las características y la estructura de los datos en un proceso conocido como creación de perfiles de datos.
La preparación de datos y limpieza requiere identificar y corregir errores, incoherencias e imprecisiones en los datos sin procesar. Este paso garantiza la calidad y la fiabilidad de los datos mediante la eliminación de duplicados y valores atípicos o el tratamiento de valores omitidos.
El mapeo de datos implica la creación de un esquema o proceso de mapeo para guiar el proceso de transformación. Durante este proceso, los ingenieros de datos definen cómo los elementos del sistema de origen se corresponden con elementos específicos en el formato de destino.
En esta fase, la organización crea el código que transformará los datos, ya sea utilizando una herramienta de terceros o generando el código internamente.
Durante esta fase, se lleva a cabo la transformación real a medida que se aplica el código a los datos sin procesar. Los datos transformados se cargan en su sistema de destino para su posterior análisis o procesamiento. Luego, los datos transformados y el modelo de datos se validan para garantizar su coherencia y exactitud.
Durante el proceso de revisión, los analistas de datos, los ingenieros o los usuarios finales revisan los datos de salida y confirman que cumplen los requisitos.
ETL (extracción, transformación, carga) y ELT (extracción, carga, transformación) son dos procesos de transformación de datos de uso frecuente que implementan técnicas de canalización de datos ligeramente diferentes. Cada uno tiene ventajas y desventajas según el tamaño y la complejidad de la transformación.
En el proceso ETL, un subconjunto predeterminado de datos estructurados se extrae de su origen, donde se transforma en un área de ensayo o en un servidor de procesamiento secundario antes de cargarse en su sistema de destino. ETL se adapta mejor al almacenamiento local y a conjuntos de datos más pequeños. Sin embargo, ETL puede ser preferible en escenarios con necesidades específicas de calidad y coherencia de datos, ya que se pueden introducir pasos más rigurosos de limpieza y validación de datos. ETL también puede ser necesario para proteger datos confidenciales, como información protegida por HIPAA, durante la migración.
En el proceso ELT, la información se extrae de las fuentes de datos y se carga en el sistema de destino basado en la nube, donde se transforma. Este enfoque, al aprovechar la potencia de la computación en nube, suele permitir un procesamiento más rápido y una gestión más ágil de los datos. También puede utilizarse con datos no estructurados, como imágenes. Con la ventaja de la potencia informática y de almacenamiento basada en la nube, el proceso ELT se beneficia de una mayor escalabilidad.
Los científicos e ingenieros de datos utilizan varias técnicas distintas a lo largo del proceso de transformación de datos. Las tácticas que se implementen dependen completamente del proyecto y del uso previsto de los datos, aunque se pueden utilizar varios métodos en tangente como parte de un proceso complejo.
- Limpieza de datos: la limpieza de datos mejora la calidad de los datos al rectificar errores e incoherencias, como la eliminación de registros duplicados.
- Agregación de datos: la agregación de datos resume los datos combinando varios registros en un único valor o conjunto de datos.
- Normalización de datos: la normalización de datos estandariza los datos, llevando todos los valores a una escala o formato común, como los valores numéricos del 1 al 10.
- Codificación de datos: la codificación de datos convierte los datos categóricos en un formato numérico, lo que facilita su análisis. Por ejemplo, la codificación de datos podría asignar un número único a cada categoría de datos.
- Enriquecimiento de datos: el enriquecimiento de datos mejora los datos añadiendo información relevante de fuentes externas, como datos demográficos de terceros o metadatos relevantes.
- Imputación de datos: la imputación de datos sustituye los datos que faltan por valores plausibles. Por ejemplo, puede sustituir los valores que faltan por la mediana o el valor medio.
- División de datos: la división de datos divide los datos en subconjuntos para diferentes propósitos. Por ejemplo, los ingenieros podrían dividir un conjunto de datos para usar uno para el entrenamiento y otro para las pruebas de machine learning.
- Discretización de datos: en la discretización de datos, los datos se convierten en cubos o intervalos discretos en un proceso a veces denominado binning. Por ejemplo, la discretización podría utilizarse en un entorno sanitario para traducir datos como la edad del paciente en categorías como "bebé" o "adulto".
- Generalización de datos: la generalización de datos abstrae grandes conjuntos de datos en una forma de resumen o de nivel superior, lo que reduce los detalles y facilita la comprensión de los datos.
- Visualización de datos: la visualización de datos representa los datos de forma gráfica y revela patrones o ideas que pueden no ser evidentes de inmediato.
Aunque es posible llevar a cabo una transformación de datos recurriendo únicamente a ingenieros internos, muchos servicios de terceros ayudan a facilitar el proceso de conversión y migración. Algunos de las más comunes son las siguientes:
- Herramientas ETL y ELT: herramientas como Apache NiFi e Informatica facilitan un proceso ETL o ELT plug-and-play.
- Plataformas de integración de datos: una serie de herramientas como IBM Cloud Pak for Data dan soporte a la integración de datos y al procesamiento en tiempo real.
- Herramientas de preparación de datos: estas herramientas están diseñadas específicamente para la limpieza y la transformación de datos antes de la transformación o migración de datos.
- Lenguajes de programación: los lenguajes de programación como Python y R, con bibliotecas como los pandas de código abierto, proporcionan capacidades sólidas para la transformación de datos.
La transformación de datos es un paso crucial en el procesamiento de datos. Mejora la capacidad de análisis, elaboración de informes, toma de decisiones y almacenamiento de una organización. Los principales beneficios incluyen:
La transformación de datos incluye procesos como la limpieza de datos, que mejora la calidad general de un conjunto de datos. Con mejores datos y arquitecturas de datos bien definidas, las organizaciones mejoran la eficiencia operativa en áreas como la gestión de inventario y el procesamiento de pedidos. Disponer de mejores datos también mejora la experiencia del cliente, ya que proporciona una visión de 360 grados de los consumidores actuales y potenciales.
La transformación de datos estandariza los formatos y las estructuras de datos, lo que facilita la integración de la información en un conjunto de datos cohesivo. Al acabar con los silos de datos y unificar la información de departamentos o sistemas dispares, las organizaciones eliminan las incoherencias y obtienen una visión unificada de la empresa.
Normalmente, los datos transformados están más organizados y estructurados, lo que facilita la creación de visualizaciones significativas que comuniquen las percepciones de forma eficaz. Las visualizaciones ayudan a los responsables de la toma de decisiones a identificar tendencias u oportunidades y pueden presentar datos cruciales, como los procesos de ventas o aprovisionamiento, prácticamente en tiempo real.
La transformación de datos convierte datos complejos o no estructurados en formatos que son más fáciles de entender, acceder y analizar. Las organizaciones utilizan estos datos para crear previsiones de mercado avanzadas o identificar áreas de mejora.
La transformación de datos puede incluir la anonimización y el cifrado de datos, la protección de la información confidencial y el cumplimiento de las normativas de privacidad. Esta seguridad sigue siendo primordial para los sectores muy regulados, como la sanidad y las finanzas, así como para las organizaciones que operan en múltiples zonas geográficas con distintas leyes de protección de la intimidad.
Los datos transformados suelen ser más flexibles y fáciles de optimizar, lo que facilita la adaptación a nuevos casos de uso o la ampliación del procesamiento de datos a medida que crece la cantidad de datos. Los datos escalables garantizan que una organización crezca sin múltiples reorganizaciones costosas e implementaciones de TI.
Descubra el valor de los datos empresariales y construya una organización impulsada por el conocimiento que ofrezca ventajas de negocio con IBM Consulting.
Con la plataforma IBM DataOps, las organizaciones eliminan la distinción entre equipos centrados en los datos y en el desarrollo, aumentando la eficiencia en todo, desde la corrección de errores hasta el establecimiento de objetivos.
Las soluciones de datos e IA de IBM permiten a las organizaciones utilizar los datos empresariales para mejorar la resiliencia, la fiabilidad y la rentabilidad sin sacrificar la seguridad o la calidad de los datos.
IBM watsonx.data permite a las organizaciones escalar la IA y la analítica con todos sus datos, dondequiera que residan.
Las arquitecturas de datos modernas, como el tejido de datos, pueden ayudar a dar forma y unificar una empresa basada en datos, orientando la toma de decisiones y aumentando la calidad del gobierno y la integración de datos.
Explore por qué los datos de alta calidad son esenciales para el uso exitoso de la IA generativa y aprenda cómo los datos empresariales pueden impulsar el aumento de la productividad.
Explore la experiencia de prueba de watsonx.data siguiendo a Amelia, la ingeniera de datos, mientras se conecta a sus fuentes de datos externas, accede a los datos y los consulta, y descarga datos de su almacén de datos para optimizar costes.
Explore los recursos para el liderazgo de datos utilizando esta guía, que le ayudará a implementar la estrategia, las tecnologías y la cultura que son fundamentales para liderar una organización basada en datos impulsada por la IA.
Descubra cómo IBM y la National Association of Boards of Pharmacy (NABP) centralizaron un centro digital para aumentar la transparencia y preservar la integridad de la cadena de suministro de medicamentos.
Explore cómo la virtualización de datos agiliza la fusión de datos de diversas fuentes y alimenta el machine learning al romper los silos de datos.
Explore cómo IBM watsonx.data y Cogniware unificaron datos de fuentes dispares para visualizar conexiones y examinar las actividades de las personas investigadas.