Qu’est-ce que le système de fichiers distribué Hadoop HDFS ?

Une instance du HDFS pouvant inclure des milliers de serveurs, la défaillance d’au moins un serveur est toujours possible. Le HDFS a été conçu pour détecter rapidement les pannes et se rétablir automatiquement. La réplication des données, avec plusieurs copies réparties sur de nombreux nœuds, permet de prévenir la perte de données. Le HDFS conserve au moins une copie sur un rack distinct des autres. Ce stockage de données dans un large cluster réparti sur plusieurs nœuds augmente la fiabilité. De plus, le HDFS peut prendre des instantanés de stockage pour sauvegarder des informations ponctuelles (PIT).

Le HDFS est principalement destiné au traitement par lots plutôt qu’à une utilisation interactive, c’est pourquoi sa conception favorise des débits de données élevés, facilitant l'accès continu aux ensembles de données.

Le HDFS est adapté aux applications utilisant des ensembles de données allant de plusieurs gigaoctets à plusieurs téraoctets. Il offre une large bande passante agrégée et peut s’étendre à des centaines de nœuds dans un seul cluster, soutenant ainsi des systèmes de calcul haute performance (HPC). Les data lakes sont souvent stockés sur le HDFS. Les entrepôts de données ont également utilisé le HDFS, mais de moins en moins en raison de la complexité perçue de son utilisation.

Comme les données sont stockées virtuellement, les coûts associés aux métadonnées du système de fichiers et au stockage des données dans l’espace de noms du système de fichiers peuvent être réduits.

Pour faciliter son adoption, le HDFS est conçu pour être portable sur plusieurs plateformes matérielles et compatible avec différents systèmes d’exploitation sous-jacents, notamment Linux, macOS et Windows. De plus, les data lakes Hadoop peuvent gérer des bases de données non structurées, semi-structurées et structurées pour une flexibilité maximale. Bien que Hadoop soit codé en Java, d'autres langages (comme C++, Perl, Python et Ruby) permettent de l'utiliser dans le domaine de la science des données.

Le HDFS utilise une architecture en cluster pour garantir un débit élevé. Pour réduire le trafic réseau, le système de fichiers Hadoop stocke les données dans les DataNodes, là où les calculs ont lieu, plutôt que de déplacer les données vers un autre emplacement pour le calcul. 

Grâce à ses fonctions d'extensibilité horizontale et verticale, le HDFS peut être rapidement adapté aux besoins d'une organisation en matière de données. Un cluster peut comprendre des centaines, voire des milliers de nœuds.

• Un cluster HDFS comprend un NameNode, qui joue le rôle de serveur maître. Le NameNode surveille l'état de tous les fichiers, les autorisations d'accès et l'emplacement de chaque bloc. Le logiciel NameNode gère l'espace de noms du système de fichiers, et contrôle l'accès des clients aux fichiers et exécute des opérations telles que l'ouverture, la fermeture et le renommage des répertoires et fichiers.
  
  L'espace de noms divise également les fichiers en blocs et assigne ces blocs aux DataNodes, qui constituent la partie esclave du système. En configurant un seul NameNode par cluster, l'architecture du système simplifie la gestion des données et le stockage des métadonnées du HDFS. De plus, une sécurité renforcée est assurée en empêchant les données utilisateurs de transiter par le NameNode.
  
  
• En général, chaque nœud d’un cluster dispose d'un DataNode qui gère le stockage des données sur ce nœud. Le logiciel DataNode gère la création, la suppression et la réplication des blocs, ainsi que les demandes de lecture et d'écriture. Chaque DataNode stocke les données HDFS dans son système de fichiers local, chaque bloc étant un fichier distinct. Les DataNodes sont les nœuds esclave (ou processus Hadoop fonctionnant en arrière-plan) et peuvent s'exécuter sur du matériel standard, permettant ainsi aux organisations de réduire les coûts.

Le NameNode et le DataNode sont des logiciels écrits pour fonctionner sur une large gamme de systèmes d'exploitation, souvent basés sur GNU/Linux. Le HDFS étant écrit en Java, toute machine supportant Java peut exécuter les logiciels NameNode et DataNode.

Les déploiements incluent souvent une machine dédiée à l'exécution du logiciel NameNode, tandis que les autres machines du cluster exécutent chacune une instance unique du logiciel DataNode. En cas de besoin, bien que rarement, il est possible de configurer plusieurs DataNodes sur une même machine.

Lorsque les données sont intégrées dans le HDFS, elles sont fragmentées en blocs et réparties sur les différents nœuds du cluster. Les données étant stockées dans plusieurs DataNodes, les blocs peuvent être répliqués sur d'autres nœuds pour permettre un traitement parallèle. Le système de fichiers distribués (DFS) propose des commandes pour accéder rapidement aux données, les récupérer, les déplacer et les visualiser. Grâce à la réplication des blocs de données sur plusieurs DataNodes, une copie peut être supprimée sans risquer de corrompre les autres copies. La taille par défaut des blocs dans le HDFS est de 128 Mo (Hadoop 2.x), une taille que certains peuvent considérer comme importante. Cependant, cette taille vise à minimiser les temps de recherche et à réduire la quantité de métadonnées nécessaires.

Pour minimiser les risques et accélérer le traitement, lorsqu'un DataNode cesse de communiquer avec le NameNode, ce DataNode est retiré du cluster et les opérations se poursuivent sans lui. Si ce DataNode redevient opérationnel par la suite, il est réassigné à un nouveau cluster.

Le HDFS propose des moyens d’accès flexibles aux données via différentes interfaces : une API Java native est incluse, un wrapper en langage C est disponible pour l’API Java, et il est également possible d’utiliser un navigateur HTTP pour parcourir les fichiers d’une instance HDFS. 

Le HDFS est organisé selon une hiérarchie de fichiers traditionnelle, dans laquelle l’utilisateur peut créer des répertoires contenant plusieurs fichiers. La hiérarchie de l’espace de noms du système de fichiers fonctionne de manière similaire à celle des systèmes de fichiers classiques, où l’utilisateur peut créer, supprimer, déplacer ou renommer des fichiers et des répertoires.

L’espace de noms est géré par le NameNode, qui enregistre toutes les modifications apportées. Le nombre total de répliques à sauvegarder pour une application donnée peut être défini dans cette hiérarchie. Ce nombre représente le facteur de réplication pour ce fichier. Le facteur de réplication peut être défini lors de la création du fichier et ajusté ultérieurement en fonction des besoins.

Pour garantir un stockage fiable, le HDFS stocke les fichiers volumineux dans plusieurs emplacements d’un grand cluster, chaque fichier étant constitué d’une séquence de blocs. Chaque bloc est stocké dans un fichier de la même taille, sauf le dernier bloc qui se remplit progressivement au fur et à mesure que des données y sont ajoutées. 

Pour une protection renforcée, les fichiers HDFS ne peuvent être écrits qu’une seule fois et uniquement par un auteur à la fois. Afin de s’assurer que toutes les données sont répliquées comme prévu, le NameNode reçoit périodiquement un signal de heartbeat (rapport de statut) et un blockreport (incluant l’ID du bloc, l’estampille de génération et la longueur de chaque réplique de bloc) de chaque DataNode dans le cluster. La réception de ce signal indique que le DataNode fonctionne correctement.

Le NameNode sélectionne l’ID de rack pour chaque DataNode grâce à un processus appelé Hadoop Rack Awareness, qui permet de prévenir la perte de données en cas de défaillance d’un rack entier. Cela permet également d’utiliser la bande passante de plusieurs racks pour la lecture des données.