Apache Hadoop es un marco de software de código abierto desarrollado por Douglas Cutting, antes en Yahoo, que ofrece un procesamiento distribuido altamente confiable de grandes conjuntos de datos a través de modelos de programación simples.
Hadoop superó las limitaciones de escalabilidad de Nutch y se basa en clústeres de computadoras básicas, lo que proporciona una solución rentable para almacenar y procesar cantidades masivas de datos estructurados, semiestructurados y no estructurados sin requisitos de formato.
Una arquitectura de lago de datos que incluya Hadoop puede ofrecer una solución de gestión de datos flexible para sus iniciativas de analytics de big data . Debido a que Hadoop es un proyecto de código abierto y sigue un modelo de computación distribuida, puede ofrecer precios que ahorran presupuesto para una solución de software y almacenamiento de big data.
Hadoop también se puede instalar en servidores en la nube para gestionar mejor los recursos informáticos y de almacenamiento necesarios para big data. Para mayor comodidad, los agentes de los sistemas operativos Linux, UNIX y Windows están preconfigurados y se pueden iniciar automáticamente. Los principales proveedores de nube, como Amazon Web Services (AWS) y Microsoft Azure, ofrecen soluciones. Cloudera admite cargas de trabajo de Hadoop tanto on-premises como en la nube, incluidas opciones para uno o más entornos de nube pública de múltiples proveedores. Use las API de monitoreo de Hadoop para agregar, actualizar, eliminar y ver los clústeres y servicios en los clústeres, y para todos los demás tipos de monitoreo en Hadoop.
Manténgase al día sobre las tendencias más importantes e intrigantes de la industria sobre IA, automatización, datos y más con el boletín Think. Consulte la Declaración de privacidad de IBM.
La infraestructura de Hadoop, desarrollada por la Apache Software Foundation, incluye:
Mejore Hadoop con proyectos de software de código abierto adicionales.
Una herramienta web para aprovisionar, gestionar y monitorear clústeres de Hadoop.
Un sistema de serialización de datos.
Una base de datos NoSQL escalable diseñada para no tener un único punto de falla.
Un sistema de recopilación de datos para monitorear grandes sistemas distribuidos; desarrollado sobre HDFS y MapReduce.
Un servicio para recopilar, agregar y mover grandes cantidades de datos en streaming a HDFS.
Una base de datos distribuida escalable y no relacional que admite el almacenamiento de datos estructurados para tablas muy grandes.
Una infraestructura de almacenamiento de datos para la consulta, el almacenamiento de metadatos para tablas y el análisis en una interfaz similar a SQL.
Una biblioteca escalable de aprendizaje automático y minería de datos.
Un programador de carga de trabajo basado en Java para gestionar trabajos de Hadoop.
Un lenguaje de flujo de datos de alto nivel e infraestructura de ejecución para computación paralela.
Una herramienta para transferir datos de manera eficiente entre Hadoop y el almacenamiento de datos estructurados, como bases de datos relacionales.
Una plataforma de IA unificada para ejecutar cargas de trabajo de aprendizaje automático y aprendizaje profundo en un clúster distribuido.
Una infraestructura de programación de flujo de datos generalizado, desarrollada sobre YARN; se adoptó dentro del ecosistema Hadoop para reemplazar MapReduce.
Un servicio de coordinación de alto rendimiento para aplicaciones distribuidas.
Apache Hadoop fue escrito en Java pero, dependiendo del proyecto de big data, los desarrolladores pueden programar en el lenguaje que elijan, como Python, R o Scala. La empresa de servicios públicos Hadoop permite a los desarrolladores crear y ejecutar trabajos de MapReduce con cualquier script o ejecutable como mapeador o reductor.
Apache Spark a menudo se compara con Hadoop, ya que también es una infraestructura de código abierto para el procesamiento de big data. De hecho, Spark se creó inicialmente para mejorar el rendimiento del procesamiento y ampliar los tipos de cálculos posibles con Hadoop MapReduce. Spark utiliza procesamiento en memoria, lo que significa que es mucho más rápido que las capacidades de lectura/escritura de MapReduce.
Si bien Hadoop es mejor para el procesamiento por lotes de grandes volúmenes de datos, Spark admite el procesamiento de datos por lotes y en tiempo real, y es ideal para la transmisión de datos y cálculos gráficos. Tanto Hadoop como Spark tienen bibliotecas de aprendizaje automático, pero, nuevamente, debido al procesamiento en memoria, el aprendizaje automático de Spark es mucho más rápido.
Mejores decisiones basadas en datos: integre datos en tiempo real (transmisión de audio, video, sentimiento de las redes sociales y datos de secuencia de clics) y otros datos semiestructurados y no estructurados que no se utilizan en un almacén de datos o una base de datos relacional. Unos datos más completos proporcionan decisiones más precisas.
Acceso y análisis de datos mejorados: impulse el acceso de autoservicio en tiempo real para sus científicos de datos, propietarios de líneas de negocio (LOB) y desarrolladores. Hadoop puede impulsar la ciencia de datos, un campo interdisciplinario que utiliza datos, algoritmos, aprendizaje automático e IA para análisis avanzados para revelar patrones y generar predicciones.
Descarga y consolidación de datos: agilice los costos en los centros de datos de su empresa moviendo datos "fríos" que no se utilizan actualmente a una distribución basada en Hadoop para su almacenamiento. O consolide datos en toda la organización para aumentar la accesibilidad y reducir los costos.
Cree y gestione canalizaciones de datos de streaming inteligentes a través de una interfaz gráfica intuitiva, y facilite una integración de datos fluida en entornos híbridos y multinube.
watsonx.data le permite escalar los analytics y la IA con todos sus datos, residan donde residan, a través de un almacén de datos abierto, híbrido y gestionado.
Desbloquee el valor de los datos empresariales con IBM Consulting, y construya una organización impulsada por insights que ofrezca ventajas empresariales.
