¿Qué es la transformación de datos?

Si bien los especialistas pueden lograr la transformación de datos manualmente, las grandes franjas de datos necesarias para impulsar las aplicaciones empresariales modernas suelen requerir cierto nivel de automatización. Las herramientas y tecnologías desplegadas a través del proceso de conversión de datos pueden ser simples o complejas.

Por ejemplo, una transformación de datos puede ser tan sencilla como convertir un campo de fecha (por ejemplo: MM/DD/AA) en otro, o dividir una sola columna de Excel en dos. Pero las transformaciones de datos complejas, que limpian y estandarizan datos de múltiples fuentes dispares y constan de múltiples flujos de trabajo, pueden requerir habilidades avanzadas de ciencia de datos.

Estas funciones avanzadas de ingeniería de datos incluyen la normalización de datos, que define las relaciones entre los puntos de datos, y enriquecimiento de datos, que complementa la información existente con conjuntos de datos de terceros.

En la economía global actual, digital-first, las transformaciones de datos ayudan a las organizaciones a aprovechar grandes volúmenes de datos de diferentes fuentes para mejorar el servicio, capacitar modelos de machine learning y desplegar analytics de big data.

Al estandarizar los conjuntos de datos y prepararlos para su posterior procesamiento, la transformación de datos hace posibles varias prácticas cruciales de datos empresariales. Las razones comunes para la transformación de datos en el mundo empresarial incluyen:

Las transformaciones de datos suelen seguir un proceso estructurado para producir datos utilizables y valiosos a partir de su forma sin procesar. Los pasos comunes en un proceso de transformación de datos incluyen:

Durante el proceso de descubrimiento, se recopilan los datos de origen. Este proceso puede incluir el raspado de datos sin procesar de API, una SQL database o archivos internos en formatos dispares. Al identificar y extraer esta información, los profesionales de datos se cercioran de que la información recopilada sea completa y relevante para su eventual aplicación. Durante el descubrimiento, los ingenieros también comienzan a comprender las características y la estructura de los datos en un proceso conocido como perfilado de datos.

La preparación y limpieza de datos requiere identificar y corregir errores, inconsistencias e imprecisiones en los datos sin procesar. Este paso garantiza la calidad de los datos y la confiabilidad mediante la eliminación de duplicados y valores atípicos o el manejo de missing values.

El mapeo de datos implica la creación de un esquema o proceso de mapeo para guiar el proceso de transformación. Durante este proceso, los ingenieros de datos definen cómo los elementos del sistema de origen corresponden a elementos específicos en el formato de destino.

Ya sea empleando una herramienta de terceros o generando código internamente, durante este paso una organización crea el código que transformará los datos.

Durante esta fase, la transformación real tiene lugar a medida que se aplica el código a los datos sin procesar. Los datos transformados se cargan en su sistema de destino para su posterior análisis o procesamiento. A continuación, los datos transformados y el modelo de datos se validan para garantizar la coherencia y la corrección.

Durante el proceso de revisión, analistas de datos, ingenieros o usuarios finales revisan los datos de salida, confirmando que cumplen con los requerimientos.

ETL (extracción, transformación, carga) y ELT (extracción, carga y transformación) son dos procesos de transformación de datos empleados con frecuencia que despliegan técnicas de canalización de datos ligeramente diferentes. Cada uno tiene beneficios y desventajas dependiendo del tamaño y la complejidad de la transformación.

En el proceso ETL, un subconjunto predeterminado de datos estructurados se extrae de su origen, y se transforman en un área de estadificación o servidor de procesamiento secundario antes de cargarse en su sistema de destino. ETL es más adecuado para el almacenamiento on-premises y conjuntos de datos más pequeños. Sin embargo, ETL puede ser preferible en escenarios con necesidades específicas de calidad y consistencia de datos, ya que se pueden introducir pasos más rigurosos de limpieza y validación de datos. ETL también puede ser necesario para proteger los datos confidenciales, como la información protegida por HIPAA, durante la migración.

En el proceso ELT, la información se extrae de las fuentes de datos y se carga en el sistema de destino basado en la nube, donde se transforma. Ya que este enfoque,aprovecha la potencia de la computación en la nube, generalmente permite un procesamiento más rápido y una gestión de datos más ágil. También se puede emplear con datos no estructurados, como imágenes. Con el beneficio de la computación basada en la nube y la potencia de almacenamiento, el proceso ELT se beneficia de una mayor escalabilidad.

Los científicos e ingenieros de datos emplean varias técnicas distintas a lo largo del proceso de transformación de datos. Las tácticas que se despliegan dependen completamente del proyecto y del uso previsto de los datos, aunque se pueden emplear varios métodos paralelamente como parte de un proceso complejo.

• Limpieza de datos: la limpieza de datos mejora la calidad de los datos al rectificar errores e inconsistencias, como eliminar registros duplicados.

• Agrupación de datos: la agrupación de datos resume los datos mediante la combinación de múltiples registros en un único valor o conjunto de datos.

• Normalización de datos: la normalización de datos estandariza los datos, llevando todos los valores a una escala o formato común, como valores numéricos del 1 al 10.

• Codificación de datos: la codificación de datos convierte datos categóricos en un formato numérico, lo que facilita su análisis. Por ejemplo, la codificación de datos podría asignar un número único a cada categoría de datos.

• Enriquecimiento de datos: el enriquecimiento de datos mejora los datos agregando información relevante de fuentes externas, como datos demográficos de terceros o metadatos relevantes.

• Imputación de datos: la imputación de datos reemplaza los datos faltantes con valores plausibles. Por ejemplo, podría reemplazar los missing values con el valor promedio o de la media.

• División de datos: la división de datos divide los datos en subconjuntos para diferentes propósitos. Por ejemplo, los ingenieros pueden dividir un conjunto de datos para usar uno para entrenamiento y otro para pruebas en machine learning.

• Discretización de datos: en la discretización de datos, los datos se convierten en cubos o intervalos discretos en un proceso que a veces se denomina binning. Por ejemplo, la discretización podría emplear en un entorno de atención médica para traducir datos como la edad del paciente en categorías como "bebé" o "adulto".

• Generalización de datos: la generalización de datos abstrae grandes conjuntos de datos en un formato de nivel superior o resumen, lo que reduce los detalles y facilita la comprensión de los datos.

• Visualización de datos: la visualización de datos representa los datos gráficamente, revelando patrones o insights que podrían no ser inmediatamente obvios.

Si bien es posible realizar una transformación de datos mediante el despliegue de ingenieros internos; muchos servicios de terceros ayudan a facilitar el proceso de conversión y migración. Algunos de los más comunes incluyen:

• Herramientas ETL y ELT: herramientas como Apache NiFi e Informatica facilitan un proceso ETL o ELT plug-and-play.

• Plataformas de integración de datos: Una gran cantidad de herramientas como IBM Cloud Pak for Data soportan la integración de datos y el procesamiento en tiempo real.

• Herramientas de preparación de datos: estas herramientas están diseñadas específicamente para la limpieza y transformación de datos antes de una transformación o migración de datos.

• Lenguajes de programación: los lenguajes de programación como Python y R, con bibliotecas como los pandas de código abierto, proporcionan capacidades estables para la transformación de datos.

La transformación de datos es un paso crucial en el procesamiento de datos. Mejora la capacidad de una organización para el análisis, la generación de informes, la toma de decisiones y el almacenamiento. Los beneficios clave incluyen: