Dado que una instancia de HDFS puede constar de miles de servidores, siempre es posible que se produzca un error en al menos un servidor. HDFS se creó para detectar fallas y recuperarse automáticamente con rapidez. La replicación de datos con múltiples copias en muchos nodos ayuda a proteger contra la pérdida de datos. HDFS mantiene al menos una copia en un rack diferente de todas las demás copias. Este almacenamiento de datos en un clúster grande entre nodos aumenta la confiabilidad. Además, HDFS puede tomar instantáneas de almacenamiento para almacenar información de un punto en el tiempo (PIT).

HDFS está pensado más para el procesamiento por lotes que para el uso interactivo, por lo que el énfasis en el diseño es para las altas tasas de rendimiento de datos, que permiten el acceso de streaming a los conjuntos de datos.

HDFS se adapta a aplicaciones que emplean conjuntos de datos que suelen tener un tamaño de gigabytes a terabytes. HDFS proporciona un alto ancho de banda de datos agregados y puede escalar a cientos de nodos en un solo clúster y ayudar a impulsar sistemas informáticos de alto rendimiento (HPC). Los lagos de datos a menudo se almacenan en HDFS. Los almacenes de datos también han empleado HDFS, pero ahora con menos frecuencia, debido a la complejidad percibida de la operación.

Debido a que los datos se almacenan virtualmente, se pueden reducir los costos de metadatos del sistema de archivos y el almacenamiento de datos del espacio de nombres del sistema de archivos.

Para facilitar la adopción, HDFS está diseñado para ser portátil en múltiples plataformas de hardware y para ser compatible con varios sistemas operativos subyacentes, incluidos Linux, macOS y Windows. Además, los lagos de datos de Hadoop pueden admitir bases de datos no estructuradas, semiestructuradas y estructuradas, para lograr la máxima flexibilidad. Si bien Hadoop está codificado en Java, otros lenguajes (como C++, Perl, Python y Ruby) permiten su uso en la ciencia de datos.

HDFS emplea una arquitectura de clúster para ayudar a ofrecer un alto rendimiento. Para reducir el tráfico de red, el sistema de archivos de Hadoop almacena los datos en DataNodes, donde se realizan los cálculos, en lugar de mover los datos a otra ubicación para el cálculo. 

Con características de escalabilidad tanto horizontal como vertical, HDFS se puede ajustar rápidamente para satisfacer las necesidades de datos de una organización. Un clúster puede incluir cientos o miles de nodos.

• Un clúster HDFS incluye un NameNode, que es el servidor maestro. NameNode rastrea el estado de todos los archivos, las licencias de los archivos y la ubicación de cada bloque. El software NameNode gestiona el espacio de nombres del sistema de archivos que, a su vez, rastrea y controla el acceso de los clientes a los archivos y realiza operaciones, como abrir, cerrar y cambiar el nombre de directorios y archivos.
  
  El espacio de nombres del sistema de archivos también divide los archivos en bloques y asigna los bloques a DataNodes, que es la parte  esclavo del sistema. Al configurar con un solo NameNode por clúster, la arquitectura del sistema simplifica la gestión de datos y el almacenamiento de los metadatos de HDFS. Además, se incorpora una mayor seguridad al evitar que los datos del usuario fluyan a través de NameNode.
  
  
• La mayoría de las veces hay un DataNode por nodo en un clúster que gestiona el almacenamiento de datos dentro del nodo. El software de DataNode gestiona la creación, eliminación y replicación de bloques, además de las solicitudes de lectura y escritura. Cada DataNode almacena por separado los datos de HDFS en su sistema de archivos local con cada bloque como un archivo independiente. Los DataNodes son los nodos esclavos (o demonios Hadoop, que ejecutan procesos en segundo plano) y pueden ejecutarse en hardware básico si una organización quiere economizar.
  

Tanto NameNode como DataNode son software escrito para ejecutarse en una amplia variedad de sistemas operativos (OS), que a menudo es el sistema operativo GNU/Linux. El lenguaje Java se utilizó en la construcción de HDFS, lo que significa que cualquier máquina que admita Java también puede usar el software NameNode o DataNode.

Los despliegues a menudo tendrán una única máquina dedicada que ejecuta el software NameNode. Luego, cualquier otra máquina del clúster ejecuta una única instancia del software DataNode. Si es necesario, pero solo se usa con poca frecuencia, es posible configurar más de un DataNode en una sola máquina.

Cuando los datos se introducen en HDFS, se dividen en bloques y se distribuyen a los distintos nodos de un clúster. Con los datos almacenados en varios DataNodes, los bloques pueden replicarse en otros nodos para permitir el procesamiento en paralelo. El sistema de archivos distribuido (DFS) incluye comandos para acceder, recuperar, mover y visualizar datos rápidamente. Con las réplicas de bloques de datos en varios DataNodes, se puede eliminar una copia sin correr el riesgo de que se dañen los archivos de las demás copias. El tamaño de bloque de HDFS por defecto es de 128 MB (Hadoop 2.x), que algunos considerarán grande, pero el tamaño de bloque es para minimizar los tiempos de búsqueda y reducir los metadatos necesarios.

Para minimizar el riesgo y acelerar el procesamiento, cuando un DataNode deja de señalar el NameNode, ese DataNode se elimina del clúster y las operaciones continúan sin ese DataNode. Si ese DataNode vuelve a estar operativo más tarde, se asigna a un nuevo clúster.

HDFS proporciona archivos de acceso a datos flexible a través de varias interfaces: se proporciona una API de Java nativa con HDFS, mientras que un contenedor de lenguaje C está disponible para la API de Java, además de que se puede usar un navegador HTTP para explorar los archivos de una instancia de HDFS. 

HDFS está organizado con una jerarquía de archivos tradicional en la que el usuario puede crear directorios que contengan varios archivos. La jerarquía del espacio de nombres del sistema de archivos es similar a la de los sistemas de archivos tradicionales, donde el usuario crea y elimina archivos, los mueve entre directorios y puede cambiar el nombre de los archivos.

El espacio de nombres del sistema de archivos es mantenido por NameNode, que mantiene registros de cualquier cambio en el espacio de nombres del sistema de archivos. Aquí se puede especificar el número total de réplicas que se almacenarán para cualquier aplicación. Ese número es el factor de replicación para ese archivo. El factor de replicación se puede establecer cuando se crea el archivo y posteriormente se puede modificar según sea necesario.

Para proporcionar un almacenamiento confiable, HDFS almacena archivos grandes en varias ubicaciones en un clúster grande, con cada archivo en una secuencia de bloques. Cada bloque se almacena en un archivo del mismo tamaño, excepto el bloque final, que se llena a medida que se agregan datos. 

Para mayor protección, los archivos HDFS son de escritura única por un solo escritor en cualquier momento. Para ayudar a garantizar que todos los datos se repliquen según las instrucciones. NameNode recibe un latido (un reporte de estado periódico) y un reporte de bloque (el Id. de bloque, el sello de generación y la longitud de cada réplica de bloque) de cada DataNode conectado al clúster. Recibir un latido indica que DataNode está funcionando correctamente.

El NameNode selecciona el Id. de rack para cada DataNode empleando un proceso llamado Hadoop Rack Awareness a fin de ayudar a prevenir la pérdida de datos si un rack completo falla. Esto también permite emplear el ancho de banda de varios racks al leer los datos.