Hadoop vs. Spark: ¿Cuál es la diferencia?

Las respectivas arquitecturas de Hadoop y Spark, cómo se comparan estas infraestructuras de big data en múltiples contextos y escenarios que se adaptan mejor a cada solución.

Apache Hadoop es una utilidad de código abierto que permite a los usuarios gestionar big data (desde gigabytes hasta petabytes) al habilitar una red de computadoras (o "nodos") para resolver problemas de datos vastos e intrincados. Es una solución altamente escalable y rentable que almacena y procesa datos estructurados, semiestructurados y no estructurados (por ejemplo, registros de flujo de clics de Internet, registros de servidores web, datos de sensores de IoT, etc.).

Los beneficios del marco Hadoop incluyen los siguientes:

• Protección de datos en medio de una falla de hardware
• Gran escalabilidad de un solo servidor a miles de máquinas
• Análisis en tiempo real para análisis históricos y toma de decisiones

Apache Spark — que también es de código abierto — es un motor de procesamiento de datos para big data. Al igual que Hadoop, Spark divide grandes tareas en diferentes nodos. Sin embargo, tiende a funcionar más rápido que Hadoop y utiliza memoria de acceso aleatorio (RAM) para almacenar en caché y procesar datos en lugar de un sistema de archivos. Esto permite a Spark manejar casos de uso que Hadoop no puede.

Los beneficios del marco Spark incluyen los siguientes:

• Un motor unificado que admite consultas SQL, transmisión de datos, machine learning (ML) y procesamiento de gráficos
• Puede ser 100 veces más rápido que Hadoop para cargas de trabajo más pequeñas (enlace externo a ibm.com) vía procesamiento en memoria, almacenamiento de datos en disco, etc.
• API diseñadas para facilitar su uso al manipular datos semiestructurados y transformar datos

Hadoop admite analytics avanzados para datos almacenados (por ejemplo, análisis predictivo, minería de datos, aprendizaje automático (ML), etc.). Permite dividir las tareas de procesamiento de analytics de big data en tareas más pequeñas.  Las tareas pequeñas se realizan en paralelo mediante el uso de un algoritmo (por ejemplo, MapReduce) y luego se distribuyen a través de un clúster Hadoop (es decir, nodos que realizan cálculos paralelos en grandes conjuntos de datos).

El ecosistema de Hadoop consta de cuatro módulos principales:

1. Hadoop Distributed File System (HDFS): sistema de almacenamiento de datos primario que gestiona grandes conjuntos de datos que se ejecutan en hardware básico. También proporciona un acceso a datos de alto rendimiento y una alta tolerancia a fallos.
2. Yet Another Resource Negotiator (YARN): Administrador de recursos de clúster que programa tareas y asigna Recursos (por ejemplo, CPU y memoria) a las aplicaciones.
3. Hadoop MapReduce: Divide las tareas de procesamiento de datos en otras más pequeñas, distribuye las tareas pequeñas en diferentes nodos, luego ejecuta cada tarea.
4. Hadoop Common (Hadoop Core): conjunto de bibliotecas y empresas de servicios públicos comunes de las que dependen los otros tres módulos.

Apache Spark, el proyecto de código abierto más grande en procesamiento de datos, es el único marco de procesamiento que combina datos e inteligencia artificial (IA). Esto permite a los usuarios realizar transformaciones de datos y análisis a gran escala y, a continuación, ejecutar algoritmos de machine learning (ML) e IA.

El ecosistema Spark consta de cinco módulos principales:

1. Spark Core: Motor de ejecución subyacente que programa y despacha tareas y coordina las operaciones de entrada y salida (I/O).
2. Spark SQL: recopila información sobre datos estructurados para permitir a los usuarios optimizar el procesamiento de datos estructurados.
3. Spark Streaming y Structured Streaming: ambos agregan capacidades de procesamiento de transmisiones. Spark Streaming toma datos de diferentes fuentes de transmisión y los divide en microlotes para una transmisión continua. El streaming estructurado, basado en Spark SQL, reduce la latencia y simplifica la programación.
4. Biblioteca de machine learning (MLlib): Conjunto de algoritmos de machine learning para la escalabilidad, además de herramientas para la selección de características y la creación de pipelines de machine learning. La API principal para MLlib es DataFrames, que proporciona uniformidad en diferentes lenguajes de programación como Java, Scala y Python.
5. GraphX: motor de cálculo fácil de usar que permite la creación, modificación y análisis interactivos de datos escalables y estructurados por gráficos.

Spark es una mejora de Hadoop para MapReduce. La principal diferencia entre Spark y MapReduce es que Spark procesa y conserva los datos en la memoria para los pasos posteriores, mientras que MapReduce procesa los datos en el disco. Como resultado, para cargas de trabajo más pequeñas, las velocidades de procesamiento de datos de Spark son hasta 100 veces más rápidas que MapReduce (enlace externo a ibm.com).

Además, a diferencia del proceso de ejecución de dos etapas en MapReduce, Spark crea un gráfico acíclico dirigido (DAG) para programar tareas y la orquestación de nodos en todo el clúster de Hadoop. Este proceso de seguimiento de tareas permite la tolerancia a fallas, que vuelve a aplicar las operaciones registradas a los datos de un estado anterior.

Veamos más de cerca las diferencias clave entre Hadoop y Spark en seis contextos críticos:

1. Rendimiento: Spark es más rápido porque utiliza memoria de acceso aleatorio (RAM) en lugar de leer y escribir datos intermedios en discos. Hadoop almacena datos en varias fuentes y los procesa en lotes a través de MapReduce.
2. Costo: Hadoop funciona a un costo menor, ya que utiliza cualquier tipo de almacenamiento en disco para el procesamiento de datos. Spark se ejecuta a un costo mayor porque depende de cálculos en memoria para el procesamiento de datos en tiempo real, lo que requiere que use grandes cantidades de RAM para poner en marcha los nodos.
3. Procesamiento: aunque ambas plataformas realizan el procesamiento de datos en un entorno distribuido, Hadoop es ideal para el procesamiento por lotes y el procesamiento lineal de datos. Spark es ideal para el procesamiento en tiempo real y el procesamiento de flujos de datos no estructurados en vivo.
4. Escalabilidad: Cuando el volumen de datos crece rápidamente, Hadoop se adapta rápidamente para satisfacer la demanda a través del Sistema de Archivos Distribuidos de Hadoop (HDFS). A su vez, Spark confía en el HDFS tolerante a fallas para grandes volúmenes de datos.
5. Seguridad: Spark mejora la seguridad con la autenticación mediante un secreto compartido o el registro de eventos, mientras que Hadoop utiliza múltiples métodos de autenticación y control de acceso. Aunque, en general, Hadoop es más seguro, Spark puede integrarse con Hadoop para alcanzar un nivel de seguridad más alto.
6. Machine learning (ML): Spark es la plataforma superior en esta categoría porque incluye MLlib, que realiza cálculos iterativos de machine learning en memoria. También incluye herramientas que realizan regresión, clasificación, persistencia, construcción de pipelines, evaluación, etc.

Conceptos erróneos comunes sobre Hadoop

• Hadoop es económico: aunque es de código abierto y fácil de configurar, mantener el servidor en funcionamiento puede resultar costoso. Cuando se utilizan características como la computación en memoria y el almacenamiento en red, la gestión de big data puede costar hasta 5.000 USD.
• Hadoop es una base de datos: aunque Hadoop se utiliza para almacenar, gestionar y analizar datos distribuidos, no hay consultas involucradas al extraer datos. Esto convierte a Hadoop en un almacén de datos en lugar de una base de datos.
• Hadoop no ayuda a las pymes: el “big data” no es exclusivo de las “grandes empresas”. Hadoop tiene características simples, como informes de Excel, que permiten a las empresas más pequeñas aprovechar su poder. Tener uno o dos clústeres de Hadoop puede mejorar enormemente el rendimiento de una pequeña empresa.
• Hadoop es difícil de configurar: aunque la gestión de Hadoop es difícil en los niveles superiores, existen muchas interfaces gráficas de usuario (GUI) que simplifican la programación para MapReduce.

Conceptos erróneos comunes sobre Spark

• Spark es una tecnología en memoria: aunque Spark utiliza eficazmente el algoritmo menos utilizado (LRU), no es, en sí misma, una tecnología basada en memoria.
• Spark siempre funciona 100 veces más rápido que Hadoop: aunque Spark puede funcionar hasta 100 veces más rápido que Hadoop para cargas de trabajo pequeñas, según Apache, normalmente solo funciona hasta 3 veces más rápido para las grandes (enlace externo a ibm.com).
• Spark introduce nuevas tecnologías en el procesamiento de datos: aunque Spark utiliza eficazmente el algoritmo LRU y canaliza el procesamiento de datos, estas capacidades existían anteriormente en bases de datos de procesamiento paralelo masivo (MPP). Sin embargo, lo que diferencia a Spark de MPP es su orientación de código abierto.

Con base en los análisis comparativos y la información fáctica proporcionada anteriormente, los siguientes casos ilustran mejor la usabilidad general de Hadoop frente a Spark.

Casos de uso de Hadoop

Hadoop es más eficaz para escenarios que implican lo siguiente:

• Procesamiento de conjuntos de big data en entornos donde el tamaño de los datos excede la memoria disponible
• Procesamiento por lotes con tareas que explotan las operaciones de lectura y escritura del disco
• Creación de una infraestructura de análisis de datos con un presupuesto limitado
• Completar trabajos que no son urgentes
• Análisis de datos históricos y de archivo

Casos de uso de Spark

Spark es más eficaz para escenarios que implican lo siguiente:

• Manejo de cadenas de operaciones paralelas mediante el uso de algoritmos iterativos
• Lograr resultados rápidos con cálculos en memoria
• Análisis de datos de flujo en tiempo real
• Procesamiento en paralelo de gráficos para modelar datos
• Todas las aplicaciones de ML

IBM ofrece múltiples productos para ayudarle a aprovechar los beneficios de Hadoop y Spark para optimizar sus iniciativas de gestión de big data y, al mismo tiempo, lograr sus objetivos empresariales integrales:

•  IBM Spectrum Conductor es una plataforma multiinquilino que despliega y gestiona Spark con otros marcos de aplicaciones en un clúster de recursos común y compartido. Spectrum Conductor ofrece gestión de cargas de trabajo, monitorización, alertas, informes y diagnósticos, y puede ejecutar múltiples versiones actuales y diferentes de Spark y otros frameworks simultáneamente.
• IBM Db2 Big SQL es un motor híbrido SQL-on-Hadoop que ofrece una única conexión a la base de datos y proporciona consultas de datos avanzadas y seguras en fuentes de datos big data como Hadoop HDFS y WebHDFS, RDMS, bases de datos NoSQL y almacenes de objetos. Los usuarios se benefician de baja latencia, alto rendimiento, seguridad de datos, compatibilidad con SQL y capacidades de federación para consultas ad hoc y complejas.
• IBM Big Replicate unifica los clústeres de Hadoop que se ejecutan en Cloudera Data Hub, Hortonworks Data Platform, IBM, Amazon S3 y EMR, Microsoft Azure, OpenStack Swift y Google Cloud almacenamiento. Big Replicate proporciona un único espacio de nombres virtual entre clústeres y almacenamiento de objetos en la nube a cualquier distancia entre sí.