¿Qué es un conjunto de datos distribuidos resilientes (RDD)?

Spark se desarrolló para abordar las deficiencias de MapReduce, un modelo de programación para "fragmentar" una gran tarea de procesamiento de datos en tareas paralelas más pequeñas.

MapReduce puede ser lento e ineficiente. Requiere replicación (mantener varias copias de datos en diferentes ubicaciones), serialización (coordinar el acceso a los recursos utilizados por más de un programa) e intensas E/S (entrada/salida de almacenamiento en disco). 

Spark reduce específicamente el procesamiento innecesario. Mientras que MapReduce escribe datos intermedios en el disco, Spark utiliza RDD para almacenar en caché y calcular datos en la memoria. El resultado es que el motor de análisis de Spark puede procesar datos entre 10 y 100 veces más rápido que MapReduce¹.

Apache Spark es un motor de procesamiento de datos rápido, de código abierto y a gran escala que se utiliza a menudo para aplicaciones de machine learning (ML) e inteligencia artificial (IA). Spark puede considerarse una mejora de Hadoop, más específicamente, del marco de proceso de datos de Hadoop, MapReduce. 

Spark se escala distribuyendo flujos de trabajo de procesamiento de datos a través de grandes clústeres de ordenadores, con soporte integrado para computación paralela en múltiples nodos y tolerancia a fallos.

Incluye interfaces de programación de aplicaciones (API) para lenguajes de programación comunes de ciencia de datos e ingeniería de datos, incluidos Java, Python (PySpark), Scala y R.

Spark utiliza los RDD para gestionar y procesar los datos. Cada RDD se divide en particiones lógicas, que se pueden calcular en diferentes nodos del clúster simultáneamente. Los usuarios pueden realizar dos tipos de operaciones de RDD: transformaciones y acciones.

• Las transformaciones son operaciones que crean un nuevo RDD.
  
  
• Las acciones indican a Spark que aplique el cálculo y pase el resultado al controlador de Spark, el proceso que gestiona los trabajos de Spark.

Spark realiza transformaciones y acciones sobre los RDD en memoria, la clave de la velocidad de Spark. Spark también puede almacenar los datos en memoria o escribirlos en disco para añadir persistencia. 

Los conjuntos de datos distribuidos resilientes son resilientes y están distribuidos. Eso significa:

Además de estas dos características principales, RDD tiene otras características que contribuyen a su importancia y operaciones en Spark.

Muchos marcos de proceso de datos, y MapReduce en particular, deben realizar múltiples operaciones de lectura o escritura desde sistemas de almacenamiento externos, lo que ralentiza su rendimiento. RDD ayuda a Apache Spark a resolver este problema.

RDD reduce la E/S de disco mediante el uso de computación en memoria que almacena los resultados intermedios de las operaciones iterativas en memoria de acceso aleatorio (RAM). El uso de la computación y el almacenamiento en memoria puede admitir un acceso más rápido y un procesamiento casi en tiempo real.

Los RDD también pueden ayudar a acelerar el tiempo de entrenamiento de algoritmos de machine learning y el procesamiento de análisis de big data a gran escala. El uso de computación en memoria puede reducir el tiempo necesario para acceder al almacenamiento de datos.

En Spark, todas las transformaciones (operaciones aplicadas para crear un nuevo RDD) son "perezosas", es decir, que los datos no se cargan ni se calculan inmediatamente.

En cambio, las transformaciones se rastrean en un gráfico acíclico dirigido (DAG) y se ejecutan solo cuando hay un llamado a la acción específico para un programa controlador.

El programa controlador dirige la función principal y las operaciones para la computación en clúster en trabajos de Spark, como la agregación, la recopilación, el recuento o el almacenamiento de resultados en un sistema de archivos.

Entre las docenas de acciones y transformaciones posibles se incluyen addedByKey, countByKey, flatMap, groupByKey, reduceByKey y sortbyKey.

La evaluación perezosa ayuda a optimizar las canalizaciones de procesamiento de datos al eliminar el procesamiento innecesario y el recorte de cálculos innecesarios.

Spark divide automáticamente los RDD en varios nodos para poder procesar enormes volúmenes de datos que no caben en un solo nodo. Para evitar los daños, cada partición se almacena en un nodo en lugar de distribuirse en varios nodos. 

RDD permite a las organizaciones definir la ubicación de las particiones informáticas para que las tareas puedan ejecutarse cerca de los datos requeridos. Esta ubicación ayuda a aumentar la velocidad de procesamiento.

Además, el número de ejecutores (ordenadores que realizan tareas asignadas por el controlador) en el clúster se puede aumentar para mejorar el paralelismo en el sistema. El nivel de paralelismo en el resultado depende de la cantidad de particiones en el RDD principal. 

Los RDD se pueden crear en particiones lógicas en un clúster para permitir operaciones paralelas en varios nodos. Los RDD se pueden crear a partir de varias fuentes de almacenamiento estables, como Amazon Web Services (AWS) S3, Hadoop Distributed File System (HDFS), Apache HBase y Cassandra. También se pueden crear a través de lenguajes de programación como Scala y Python.

Spark RDD puede almacenar en caché conjuntos de datos en la memoria en todas las operaciones. Cada nodo puede almacenar las particiones que ha calculado en la memoria y reutilizarlas para acciones posteriores en el conjunto de datos o conjuntos de datos resultantes. Esta persistencia puede acelerar enormemente el procesamiento.

Spark también ofrece a los usuarios opciones de almacenamiento interactivo, lo que les da control sobre cómo se almacenan los datos. Los datos pueden almacenarse en la memoria, en el disco o en una combinación de ambos.

Los RDD son inmutables, lo que significa que no se pueden modificar después de su creación. La inmutabilidad ayuda a que los datos permanezcan estables en el tiempo a lo largo de múltiples operaciones.

También hace que sea más fácil y seguro compartir datos entre múltiples procesos, y ayuda a proteger contra la corrupción que pueden causar las actualizaciones simultáneas de diferentes hilos. 

Aunque los RDD son inmutables, los usuarios pueden crear nuevos RDD aplicando transformaciones a los existentes, lo que permite actualizar los conjuntos de datos sin alterar los datos originales.

RDD puede procesar datos estructurados y no estructurados. Al procesar datos no estructurados, la información puede extraerse de múltiples tipos de bases de datos, flujos multimedia o archivos de texto sin necesidad de un esquema fijo ni de crear un DataFrame.

Dicho esto, los usuarios pueden crear DataFrames en Spark, lo que les permite beneficiarse de ciertas optimizaciones para mejorar el rendimiento.