Was ist Hadoop Distributed File System (HDFS)?

Da eine HDFS-Instanz aus Tausenden von Servern bestehen kann, ist der Ausfall mindestens eines Servers immer möglich. HDFS wurde so konzipiert, dass Fehler erkannt und automatisch schnell behoben werden können. Die Data Replication mit mehreren Kopien über viele Knoten hinweg trägt zum Schutz vor Datenverlust bei. HDFS bewahrt mindestens eine Kopie auf einem anderen Rack als alle anderen Kopien auf. Dieser Datenspeicher in einem großen Cluster über Knoten hinweg erhöht die Zuverlässigkeit. Darüber hinaus kann HDFS Speicher-Snapshots erstellen, um Point-in-Time-Informationen (PIT) zu speichern.

HDFS ist eher für die Stapelverarbeitung als für die interaktive Nutzung gedacht, daher liegt der Schwerpunkt bei der Entwicklung auf hohen Datendurchsatzraten, die den Streaming-Zugriff auf Datensätze ermöglichen.

HDFS eignet sich für Anwendungen, die Datensätze mit einer Größe von typischerweise Gigabyte bis Terabyte verwenden. HDFS bietet eine hohe aggregierte Datenbandbreite und kann auf Hunderte von Knoten in einem einzigen Cluster skaliert werden und dabei helfen, High Performance Computing (HPC)-Systeme zu betreiben. Data Lakes werden oft auf HDFS gespeichert. Data Warehouses haben HDFS ebenfalls verwendet, aber jetzt seltener, da der Betrieb als zu komplex wahrgenommen wird.

Da die Daten virtuell gespeichert werden, können die Kosten für den Datenspeicher von Metadaten und Namespace-Daten des Dateisystems reduziert werden.

Um die Einführung zu erleichtern, ist HDFS so konzipiert, dass es auf mehreren Hardwareplattformen eingesetzt werden kann und mit verschiedenen zugrunde liegenden Betriebssystemen kompatibel ist, darunter Linux, macOS und Windows. Darüber hinaus können Hadoop Data Lakes unstrukturierte, halbstrukturierte und strukturierte Datenbanken unterstützen, um maximale Flexibilität zu gewährleisten. Hadoop ist zwar in Java programmiert, aber auch andere Sprachen (darunter C++, Perl, Python und Ruby) ermöglichen die Nutzung in der Data Science.

HDFS verwendet eine Cluster-Architektur, um einen hohen Durchsatz zu erzielen. Um den Netzwerkverkehr zu reduzieren, speichert das Hadoop-Dateisystem Daten in DataNodes, in denen Berechnungen stattfinden, anstatt die Daten zur Berechnung an einen anderen Ort zu verschieben. 

Mit seinen horizontalen und vertikalen Skalierbarkeitsfunktionen kann HDFS schnell an die Datenanforderungen eines Unternehmens angepasst werden. Ein Cluster kann Hunderte oder Tausende von Knoten umfassen.

• Ein HDFS-Cluster umfasst einen  NameNode, der als Director-Server fungiert. Der NameNode verfolgt den Status aller Dateien, die Dateiberechtigungen und den Speicherort jedes Blocks. Die NameNode-Software verwaltet den Dateisystem-Namespace, der wiederum den Client-Zugriff auf die Dateien verfolgt und steuert und Vorgänge wie das Öffnen, Schließen und Umbenennen von Verzeichnissen und Dateien ausführt.
  
  Der Dateisystem-Namensraum unterteilt Dateien auch in Blöcke und ordnet die Blöcke den DataNodes zu, die den Worker-Teil des Systems bilden. Durch die Konfiguration mit nur einem einzigen NameNode pro Cluster vereinfacht die Systemarchitektur die Datenverwaltung und die Speicherung der HDFS-Metadaten. Darüber hinaus wird eine größere Sicherheit erhöht, indem verhindert wird, dass Benutzerdaten durch den NameNode fließen.
  
  
• In einem Cluster gibt es meistens einen DataNode pro Knoten, der den Datenspeicher innerhalb des Knotens verwaltet. Die DataNode-Software verwaltet die Erstellung, Löschung und Replikation von Blöcken sowie Lese- und Schreibanfragen. Jeder DataNode speichert HDFS-Daten separat in seinem lokalen Dateisystem, wobei jeder Block als separate Datei gespeichert wird. DataNodes sind die Worker-Knoten (oder Hadoop-Daemons, die Prozesse im Hintergrund ausführen) und können auf handelsüblicher Hardware ausgeführt werden, wenn ein Unternehmen Kosten sparen möchte.
  

Sowohl NameNode als auch DataNode sind Software, die für den Einsatz auf einer Vielzahl von Betriebssystemen (OS) geschrieben wurde, wobei es sich häufig um das Betriebssystem GNU/Linux handelt. HDFS wurde in der Programmiersprache Java entwickelt, d. h. jede Maschine, die Java unterstützt, kann auch die NameNode- oder DataNode-Software verwenden.

Bei der Bereitstellung wird oft eine einzelne dedizierte Maschine verwendet, auf der die NameNode-Software ausgeführt wird. Auf allen anderen Maschinen im Cluster wird dann eine einzelne Instanz der DataNode-Software ausgeführt. Bei Bedarf, aber nur selten, ist eine Konfiguration von mehr als einem DataNode auf einem einzelnen Computer möglich.

Wenn Daten in HDFS übertragen werden, werden sie in Blöcke unterteilt und an verschiedene Knoten in einem Cluster verteilt. Da die Daten in mehreren DataNodes gespeichert sind, können die Blöcke auf andere Knoten repliziert werden, um eine parallele Verarbeitung zu ermöglichen. Das verteilte Dateisystem (DFS) enthält Befehle für den schnellen Zugriff auf Daten sowie für das Abrufen, Verschieben und Anzeigen von Daten. Bei Replikaten von Datenblöcken über mehrere DataNodes hinweg kann eine Kopie entfernt werden, ohne dass die Gefahr besteht, dass die anderen Kopien beschädigt werden. Die Standard-HDFS-Blockgröße beträgt 128 MB (Hadoop 2.x), was für manche groß erscheinen mag. Die Blockgröße dient allerdings dazu, die Suchzeiten zu minimieren und die erforderlichen Metadaten zu reduzieren.

Um das Risiko zu minimieren und die Verarbeitung zu beschleunigen, wird ein DataNode aus dem Cluster entfernt und der Betrieb ohne diesen DataNode fortgesetzt, wenn ein DataNode keine Signale mehr an den NameNode sendet. Wenn dieser DataNode später in Betrieb genommen wird, wird er einem neuen Cluster zugewiesen.

HDFS bietet flexible Datenzugriffsdateien über verschiedene Schnittstellen: HDFS wird mit einer nativen Java-API geliefert, während für die Java-API ein Wrapper in der Programmiersprache C verfügbar ist. Außerdem kann ein HTTP-Browser zum Durchsuchen der Dateien einer HDFS-Instanz verwendet werden. 

HDFS ist mit einer traditionellen Dateihierarchie organisiert, in der der Benutzer Verzeichnisse erstellen kann, die mehrere Dateien enthalten. Die Hierarchie des Dateisystem-Namensraums ähnelt der herkömmlicher Dateisysteme, bei denen der Benutzer Dateien erstellt und entfernt, sie zwischen Verzeichnissen verschiebt und Dateien umbenennen kann.

Der Dateisystem-Namespace wird vom NameNode verwaltet, der Aufzeichnungen über alle Änderungen im Dateisystem-Namensraum führt. Hier kann die Gesamtzahl der für eine Anwendung zu speichernden Replikate angegeben werden. Diese Zahl ist der Replikationsfaktor für diese Datei. Der Replikationsfaktor kann bei der Erstellung der Datei festgelegt und später bei Bedarf geändert werden.

Um eine zuverlässige Speicherung zu gewährleisten, speichert HDFS große Dateien an mehreren Speicherorten in einem großen Cluster, wobei jede Datei in einer Folge von Blöcken gespeichert wird. Jeder Block wird in einer Datei derselben Größe gespeichert, mit Ausnahme des letzten Blocks, der sich mit dem Hinzufügen von Daten füllt. 

Für zusätzlichen Schutz können HDFS-Dateien nur von einem einzigen Autor zu einem beliebigen Zeitpunkt einmal beschrieben werden. Um sicherzustellen, dass alle Daten wie angewiesen repliziert werden. Der NameNode erhält einen Herzschlag (einen regelmäßigen Statusbericht) und einen Blockreport (die Block-ID, den Generierungsstempel und die Länge jedes Blockreplikats) von jedem an den Cluster angeschlossenen DataNode. Der Empfang eines Herzschlages zeigt an, dass der DataNode ordnungsgemäß funktioniert.

Der NameNode wählt die Rack-ID für jeden DataNode mithilfe eines Prozesses namens Hadoop Rack Awareness aus, um Datenverluste zu verhindern, falls ein ganzes Rack ausfällt. Dies ermöglicht auch die Nutzung der Bandbreite mehrerer Racks beim Lesen von Daten.