Una línea de trabajo de datos es un método en el que se obtienen datos sin procesar de varias fuentes de datos y luego se transfieren a un almacén de datos, como un data lake o un almacén de datos, para su análisis. Antes de que los datos fluyan a un depósito de datos, generalmente se someten a algún procesamiento de datos. Esto incluye transformaciones de datos como, por ejemplo, filtrado, enmascaramiento y agregaciones, que garantizan la integración y la estandarización adecuadas de los datos. Esto es particularmente importante cuando el destino del conjunto de datos es una base de datos relacional. Este tipo de repositorio de datos tiene un esquema definido que requiere alineación, es decir, coincidencia de columnas y tipos de datos, para actualizar los datos existentes con datos nuevos. 

Como sugiere el nombre, las líneas de trabajo de datos actúan como "tuberías" para proyectos de ciencia de datos o paneles de inteligencia empresarial. Los datos se pueden obtener desde distintos lugares: API, bases datos SQL y NoSQL, archivos, etcétera, pero desafortunadamente, esos datos generalmente no están listos para su uso inmediato. Las tareas de preparación de datos generalmente recaen sobre los hombros de los científicos o ingenieros de datos, quienes estructuran los datos para satisfacer las necesidades del caso de uso comercial. El tipo de procesamiento de datos que requiere una línea de trabajo de datos generalmente se determina por medio de una combinación de análisis de datos exploratorios y requisitos comerciales definidos. Una vez que los datos se han filtrado, combinado y resumido adecuadamente, se pueden almacenar y poner a disposición para su uso. Las líneas de trabajo de datos bien organizadas proporcionan la base para una variedad de proyectos de datos. Esto puede incluir análisis de datos exploratorios, visualizaciones de datos y tareas de machine learning.

Tres pasos básicos conforman la arquitectura de una línea de trabajo de datos. 

1. Ingestión de datos: los datos se recopilan de distintas fuentes de datos, que incluyen varias estructuras de datos (es decir, datos estructurados y no estructurados). Dentro de los datos de transmisión, estas fuentes de datos sin procesar generalmente se conocen como productores, editores o remitentes. Si bien las empresas pueden optar por extraer datos solo cuando están listas para procesarlos, es una mejor práctica colocar primero los datos sin procesar en un proveedor de almacenamiento de datos en la nube. De esta forma, la empresa puede actualizar cualquier dato histórico si necesita realizar ajustes en los trabajos de procesamiento de datos. 

2. Transformación de datos: durante este paso, se ejecuta una serie de trabajos para procesar los datos en el formato requerido por el repositorio de datos de destino. Estos trabajos integran automatización y gestión para flujos de trabajo repetitivos, como informes comerciales, lo que garantiza que los datos se limpien y transformen de manera consistente.  Por ejemplo, un flujo de datos puede venir en formato JSON anidado, y la etapa de transformación de datos tendrá como objetivo desenrollar ese JSON para extraer los campos clave para el análisis.

3. Almacenamiento de datos: luego, los datos transformados se almacenan en un repositorio de datos, donde pueden exponerse a varios stakeholders. Dentro de la transmisión de datos, estos datos transformados generalmente se conocen como consumidores, suscriptores o destinatarios.  

Es posible que encuentre que algunos términos, como línea de trabajo de datos y línea de trabajo ETL, se usan indistintamente en una conversación. Sin embargo, debe pensar en una línea de trabajo ETL como una subcategoría de líneas de trabajo de datos. Los dos tipos de líneas de trabajo se distinguen por tres características principales:

• Las líneas de trabajo ETL siguen una secuencia específica. Como implica la abreviatura, extraen datos, transforman datos y luego cargan y almacenan datos en un repositorio de datos. No es necesario que todas las líneas de trabajo de datos sigan esta secuencia. De hecho, las líneas de trabajo de ELT se han vuelto más populares con la llegada de las herramientas nativas en la nube. Si bien la ingesta de datos aún ocurre primero con este tipo de línea de trabajo, cualquier transformación se aplica después de que los datos se hayan cargado en el almacenamiento de datos en la nube.  

• Las líneas de trabajo de ETL también tienden a implicar el uso de procesamiento por lotes, pero como señalamos anteriormente, el alcance de las líneas de trabajo de datos es más amplio. También pueden incluir el procesamiento de flujos. 

• Finalmente, aunque es poco probable, las líneas de trabajo de datos en su conjunto no necesariamente deben sufrir transformaciones de datos, como las líneas de trabajo de ETL. Es raro ver una línea de trabajo de datos que no utilice transformaciones para facilitar el análisis de datos. 

A medida que el big data sigue creciendo, la gestión de datos se convierte en una prioridad cada vez mayor. Si bien las líneas de trabajo de datos cumplen varias funciones, las siguientes son tres aplicaciones generales de ellas dentro de los negocios: 

• Análisis exploratorio de datos: los científicos de datos utilizan el análisis exploratorio de datos (EDA) para analizar e investigar conjuntos de datos y resumir sus características principales, a menudo empleando métodos de visualización de datos. Ayuda a determinar la mejor manera de manipular los orígenes de datos para obtener las respuestas que usted necesita, lo que facilita que los científicos de datos descubran patrones, detecten anomalías, prueben una hipótesis o verifiquen suposiciones.

• Visualizaciones de datos: las visualizaciones de datos representan datos por medio de gráficos comunes, como tablas, diagramas, infografías e incluso animaciones. Estas representaciones visuales de información comunican relaciones complejas de datos y conocimientos basados en datos de una manera fácil de entender.

• Machine learning: machine learning es una rama de la inteligencia artificial (IA) y la ciencia de la computación que se centra en el uso de datos y algoritmos para imitar la forma en que los humanos aprenden, mejorando gradualmente su precisión. Mediante el uso de métodos estadísticos, los algoritmos se capacitan para hacer clasificaciones o predicciones, descubriendo insights clave dentro de los proyectos de minería de datos.