¿Qué es la transformación de datos?

Aunque los especialistas pueden transformar los datos manualmente, las grandes franjas de datos necesarias para impulsar las aplicaciones empresariales modernas suelen requerir cierto nivel de automatización. Las herramientas y tecnologías implementadas a través del proceso de conversión de datos pueden ser simples o complejas.

Por ejemplo, una transformación de datos puede ser tan sencilla como convertir un campo de fecha (por ejemplo: DD/MM/AA) en otro, o dividir una sola columna de Excel en dos. Pero las transformaciones de datos complejas, que limpian y estandarizan los datos de múltiples fuentes dispares y constan de múltiples flujos de trabajo, pueden implicar habilidades avanzadas de ciencia de datos.

Estas funciones avanzadas de ingeniería de datos incluyen la normalización de datos, que define las relaciones entre los puntos de datos; y el enriquecimiento de datos, que complementa la información existente con conjuntos de datos de terceros.

En la economía global digital actual, las transformaciones de datos ayudan a las organizaciones a aprovechar grandes volúmenes de datos de diferentes fuentes para mejorar el servicio, entrenar modelos de machine learning e implementar análisis de big data.

Al estandarizar los conjuntos de datos y prepararlos para su posterior procesamiento, la transformación de datos hace posibles varias prácticas cruciales de datos empresariales. Las razones más comunes para la transformación de datos en el mundo empresarial incluyen:

Las transformaciones de datos suelen seguir un proceso estructurado para producir datos utilizables y valiosos a partir de su forma bruta. Los pasos comunes en un proceso de transformación de datos incluyen:

Durante el proceso de detección, se recopilan datos de origen. Este proceso puede incluir la extracción de datos sin procesar de API, una base de datos SQL o archivos internos en formatos dispares. Al identificar y extraer esta información, los profesionales de datos se aseguran de que la información recopilada es exhaustiva y relevante para su posible aplicación. Durante el descubrimiento, los ingenieros también comienzan a entender las características y la estructura de los datos en un proceso conocido como creación de perfiles de datos.

La preparación de datos y limpieza requiere identificar y corregir errores, incoherencias e imprecisiones en los datos sin procesar. Este paso garantiza la calidad y la fiabilidad de los datos mediante la eliminación de duplicados y valores atípicos o el tratamiento de valores omitidos.

El mapeo de datos implica la creación de un esquema o proceso de mapeo para guiar el proceso de transformación. Durante este proceso, los ingenieros de datos definen cómo los elementos del sistema de origen se corresponden con elementos específicos en el formato de destino.

En esta fase, la organización crea el código que transformará los datos, ya sea utilizando una herramienta de terceros o generando el código internamente.

Durante esta fase, se lleva a cabo la transformación real a medida que se aplica el código a los datos sin procesar. Los datos transformados se cargan en su sistema de destino para su posterior análisis o procesamiento. Luego, los datos transformados y el modelo de datos se validan para garantizar su coherencia y exactitud.

Durante el proceso de revisión, los analistas de datos, los ingenieros o los usuarios finales revisan los datos de salida y confirman que cumplen los requisitos.

ETL (extracción, transformación, carga) y ELT (extracción, carga, transformación) son dos procesos de transformación de datos de uso frecuente que implementan técnicas de pipeline de datos ligeramente diferentes. Cada uno tiene ventajas y desventajas según el tamaño y la complejidad de la transformación.

En el proceso ETL, un subconjunto predeterminado de datos estructurados se extrae de su origen, donde se transforma en un área de ensayo o en un servidor de procesamiento secundario antes de cargarse en su sistema de destino. ETL se adapta mejor al almacenamiento on-premises y a conjuntos de datos más pequeños. Sin embargo, ETL puede ser preferible en escenarios con necesidades específicas de calidad y coherencia de datos, ya que se pueden introducir pasos más rigurosos de limpieza y validación de datos. ETL también puede ser necesario para proteger datos confidenciales, como información protegida por HIPAA, durante la migración.

En el proceso ELT, la información se extrae de las fuentes de datos y se carga en el sistema de destino basado en la nube, donde se transforma. Este enfoque, al aprovechar la potencia de la computación en nube, suele permitir un procesamiento más rápido y una gestión más ágil de los datos. También puede utilizarse con datos no estructurados, como imágenes. Con la ventaja de la potencia informática y de almacenamiento basada en la nube, el proceso ELT se beneficia de una mayor escalabilidad.

Los científicos e ingenieros de datos utilizan varias técnicas distintas a lo largo del proceso de transformación de datos. Las tácticas que se implementen dependen completamente del proyecto y del uso previsto de los datos, aunque se pueden utilizar varios métodos en tangente como parte de un proceso complejo.

• Limpieza de datos: la limpieza de datos mejora la calidad de los datos al rectificar errores e incoherencias, como la eliminación de registros duplicados.

• Agregación de datos: la agregación de datos resume los datos combinando varios registros en un único valor o conjunto de datos.

• Normalización de datos: la normalización de datos estandariza los datos, llevando todos los valores a una escala o formato común, como los valores numéricos del 1 al 10.

• Codificación de datos: la codificación de datos convierte los datos categóricos en un formato numérico, lo que facilita su análisis. Por ejemplo, la codificación de datos podría asignar un número único a cada categoría de datos.

• Enriquecimiento de datos: el enriquecimiento de datos mejora los datos añadiendo información relevante de fuentes externas, como datos demográficos de terceros o metadatos relevantes.

• Imputación de datos: la imputación de datos sustituye los datos que faltan por valores plausibles. Por ejemplo, puede sustituir los valores que faltan por la mediana o el valor medio.

• División de datos: la división de datos divide los datos en subconjuntos para diferentes propósitos. Por ejemplo, los ingenieros podrían dividir un conjunto de datos para usar uno para el entrenamiento y otro para las pruebas de machine learning.

• Discretización de datos: en la discretización de datos, los datos se convierten en cubos o intervalos discretos en un proceso a veces denominado binning. Por ejemplo, la discretización podría utilizarse en un entorno sanitario para traducir datos como la edad del paciente en categorías como "bebé" o "adulto".

• Generalización de datos: la generalización de datos abstrae grandes conjuntos de datos en una forma de resumen o de nivel superior, lo que reduce los detalles y facilita la comprensión de los datos.

• Visualización de datos: la visualización de datos representa los datos de forma gráfica y revela patrones o ideas que pueden no ser evidentes de inmediato.

Aunque es posible llevar a cabo una transformación de datos recurriendo únicamente a ingenieros internos, muchos servicios de terceros ayudan a facilitar el proceso de conversión y migración. Algunos de las más comunes son las siguientes:

• Herramientas ETL y ELT: herramientas como Apache NiFi e Informatica facilitan un proceso ETL o ELT plug-and-play.

• Plataformas de integración de datos: una serie de herramientas como IBM Cloud Pak for Data dan soporte a la integración de datos y al procesamiento en tiempo real.

• Herramientas de preparación de datos: estas herramientas están diseñadas específicamente para la limpieza y la transformación de datos antes de la transformación o migración de datos.

• Lenguajes de programación: los lenguajes de programación como Python y R, con bibliotecas como los pandas de código abierto, proporcionan capacidades sólidas para la transformación de datos.

La transformación de datos es un paso crucial en el procesamiento de datos. Mejora la capacidad de análisis, elaboración de informes, toma de decisiones y almacenamiento de una organización. Los principales beneficios incluyen: