Una canalización de datos es un método en el que los datos sin procesar se ingieren de varias fuentes de datos, se transforman y luego se transportan para analizarse a un almacén de datos, como un data lake o un almacén de datos. 

Antes de que los datos lleguen a un repositorio, suelen someterse a algún tipo de tratamiento. Esto incluye las transformaciones de datos, como el filtrado, el enmascaramiento y las agregaciones, que garantizan una integración y estandarización de datos adecuadas. Esto es especialmente importante cuando el destino del conjunto de datos es una base de datos relacional. Este tipo de repositorio de datos tiene un esquema definido que requiere alineación, es decir, hacer coincidir columnas y tipos de datos, para actualizar los datos existentes con los nuevos. 

Como su nombre sugiere, las canalizaciones de datos actúan como la "canalización" para proyectos de ciencia de datos o paneles de control de inteligencia empresarial. Los datos se pueden obtener a través de una amplia variedad de lugares (API, bases de datos SQL y NoSQL, archivos, etc.), pero desafortunadamente, esos datos generalmente no están listos para su uso inmediato. Durante el abastecimiento, se realiza un seguimiento del linaje de datos para documentar la relación entre los datos empresariales en diversas aplicaciones empresariales y de TI, por ejemplo, dónde se encuentran actualmente los datos y cómo se almacenan en un entorno, como en las instalaciones, en un data lake o en un almacén de datos.

Las tareas de preparación de datos suelen recaer en los científicos de datos o ingenieros de datos, que estructuran los datos para satisfacer las necesidades de los casos de uso empresarial y manejar enormes cantidades de datos. El tipo de procesamiento de datos que requiere una canalización de datos suele determinarse a través de una combinación de análisis de datos exploratorios y requisitos empresariales definidos. Una vez que los datos se han filtrado, combinado y resumido adecuadamente, se pueden almacenar y exponer para su uso. Las canalizaciones de datos bien organizadas proporcionan la base para una serie de proyectos de datos; esto puede incluir análisis exploratorios de datos, visualizaciones de datos y tareas de machine learning. 

La arquitectura de una canalización de datos está formada por tres pasos principales.

1. Ingesta de datos: los datos se recopilan de varias fuentes, incluidas las plataformas de software como servicio (SaaS), los dispositivos de Internet de las cosas (IoT) y los dispositivos móviles, y varias estructuras de datos, tanto datos estructurados como no estructurados. Dentro de los datos de streaming, estas fuentes de datos sin procesar se conocen normalmente como productores, editores o remitentes. Aunque las empresas pueden optar por extraer datos solo cuando estén listas para procesarlos, es una mejor práctica aterrizar primero los datos sin procesar dentro de un proveedor de almacenamiento de datos en la nube. De esta manera, la empresa puede actualizar cualquier dato histórico si necesita realizar ajustes en los trabajos de procesamiento de datos. Durante este proceso de ingesta de datos, se pueden realizar varias validaciones y comprobaciones para garantizar la coherencia y precisión de los datos.

2. Transformación de datos: durante este paso, se ejecutan una serie de trabajos para procesar los datos en el formato requerido por el repositorio de datos de destino. Estos trabajos incorporan la automatización y el gobierno para flujos de trabajo repetitivos, como los informes empresariales, lo que garantiza que los datos se limpien y transformen de forma coherente.  Por ejemplo, un flujo de datos puede venir en un formato JSON anidado, y la etapa de transformación de datos tendrá como objetivo desenrollar ese JSON para extraer los campos clave para el análisis.

3. Almacenamiento de datos: los datos transformados se almacenan en un repositorio de datos, donde se pueden exponer a varias partes interesadas. Dentro de los datos de streaming, estos datos transformados se conocen normalmente como consumidores, suscriptores o destinatarios.  

Es posible que descubra que algunos términos, como canalización de datos y canalización ETL, se usan indistintamente en conversaciones. Sin embargo, debería pensar en una canalización ETL como una subcategoría de las canalizaciones de datos. Los dos tipos de tuberías se distinguen por tres características clave:

• Las tuberías ETL siguen una secuencia específica. Como implica la abreviatura, extraen datos, transforman datos y, a continuación, cargan y almacenan datos en un repositorio de datos. No todas las canalizaciones de datos necesitan seguir esta secuencia. De hecho, las canalizaciones ELT (extraer, cargar, transformar) se han hecho más populares con la llegada de las herramientas nativas de la nube, en las que los datos pueden generarse y almacenarse en múltiples fuentes y plataformas. Aunque la ingesta de datos sigue ocurriendo primero con este tipo de canalización, las transformaciones se aplican después de que los datos se hayan cargado en el almacenamiento de datos basado en la nube.  
  
  
• Las canalizaciones ETL también tienden a implicar el uso del procesamiento por lotes, pero como se ha indicado anteriormente, el alcance de las canalizaciones de datos es más amplio. También pueden incluir el procesamiento de flujos. 
  
  
• Por último, aunque es poco probable, las canalizaciones de datos en su conjunto no necesitan necesariamente someterse a transformaciones de datos, como ocurre con las canalizaciones ETL. Es raro ver una canalización de datos que no utilice transformaciones para facilitar el análisis de datos.  

A medida que el big data sigue creciendo, la gestión de datos se convierte en una prioridad cada vez mayor. Aunque las canalizaciones de datos cumplen diversas funciones, las siguientes corresponden a aplicaciones empresariales:

• Análisis de datos exploratorios: los científicos de datos utilizan el análisis de datos exploratorios (EDA) para analizar e investigar conjuntos de datos y resumir sus características principales, a menudo utilizando métodos de visualización de datos. EDA ayuda a determinar la mejor manera de manipular las fuentes de datos para obtener las respuestas que necesita, lo que facilita a los científicos de datos descubrir patrones, detectar anomalías, probar una hipótesis o verificar suposiciones.
  
  
• Visualizaciones de datos: para representar datos mediante gráficos comunes, se pueden crear visualizaciones de datos como gráficos, diagramas, infografías e incluso animaciones. Estas pantallas visuales de información comunican relaciones de datos complejas e información basada en los datos de una manera fácil de entender.
  
  
• Machine learning: una rama de la inteligencia artificial (IA) y las ciencias de la computación, el machine learning se centra en el uso de datos y algoritmos para imitar la forma en que aprenden los humanos, mejorando gradualmente su precisión. Mediante el uso de métodos estadísticos, los algoritmos se entrenan para hacer clasificaciones o predicciones, descubriendo información clave dentro de los proyectos de minería de datos.
  
  
• Observabilidad de los datos: para verificar la precisión y la seguridad de los datos que se están utilizando, la observabilidad de los datos aplica una variedad de herramientas para monitorizar, rastrear y alertar tanto de eventos esperados como de anomalías.