Cos'è Hadoop Distributed File System (HDFS)?

Poiché un'istanza HDFS può essere costituita da migliaia di server, il guasto di almeno uno dei server è sempre una possibilità. HDFS è stato progettato per rilevare i guasti e ripristinarli automaticamente e rapidamente. La data replication con più copie su più nodi aiuta a proteggersi dalla perdita di dati. HDFS conserva almeno una copia su un rack diverso da tutte le altre copie. Questo data storage in un grande cluster tra nodi aumenta l'affidabilità. Inoltre, HDFS può creare snapshot di storage per salvare le informazioni PIT (point-in-time).

HDFS è concepito più per l'elaborazione in batch che per l'uso interattivo, pertanto l'enfasi nella progettazione è posta su elevate velocità di trasmissione dei dati, che consentono l'accesso in streaming ai set di dati.

HDFS supporta applicazioni che utilizzano set di dati nell'ordine dei gigabyte e dei terabyte. HDFS offre un'elevata larghezza di banda di dati aggregati e può scalare fino a centinaia di nodi in un singolo cluster e aiutare a gestire i sistemi di calcolo ad alte prestazioni ( HPC). I data lake sono spesso archiviati su HDFS. Anche i data warehouse utilizzavano HDFS, ma ora questa tendenza è in calo, a causa della complessità operativa percepita.

Poiché i dati vengono archiviati virtualmente, è possibile ridurre i costi per l'archiviazione dei metadati del file system e del namespace del file system.

Per facilitarne l'adozione, HDFS è progettato per essere trasferibile su più piattaforme hardware e per essere compatibile con vari sistemi operativi sottostanti, tra cui Linux, macOS e Windows. Inoltre, i data lake Hadoop sono in grado di supportare database non strutturati, semi-strutturati e strutturati, per la massima flessibilità. Sebbene Hadoop sia programmato in Java, altri linguaggi (tra cui C++, Perl, Python e Ruby) ne consentono l'uso nella data science.

HDFS usa un'architettura cluster per garantire una velocità effettiva elevata. Per ridurre il traffico di rete, il file system Hadoop memorizza i dati nei DataNodes in cui vengono eseguiti i calcoli, anziché spostare i dati in un'altra posizione per il calcolo. 

Grazie alle funzionalità di scalabilità orizzontale e verticale, HDFS può essere rapidamente adattato alle esigenze di dati di un'organizzazione. Un cluster può comprendere centinaia o migliaia di nodi.

• Un cluster HDFS include un NameNode, che è il server director. Il NameNode tiene traccia dello stato di tutti i file, delle autorizzazioni dei file e della posizione di ogni blocco. Il software NameNode gestisce il namespace del file system che a sua volta traccia e controlla l'accesso dei client ai file ed esegue operazioni come aprire, chiudere e rinominare directory e file.
  
  Il namespace del file system divide anche i file in blocchi e associa i blocchi ai DataNodes, che è la parte worker del sistema. Configurando un solo NameNode per cluster, l'architettura del sistema semplifica la gestione dei dati e la memorizzazione dei dati HDFS. Inoltre, viene garantita una maggiore sicurezza, impedendo ai dati dell'utente di passare attraverso il NameNode.
  
  
• Nella maggior parte dei casi è presente un DataNode per ogni nodo in un cluster che gestisce lo storage dei dati all'interno del nodo. Il software DataNode gestisce la creazione, l'eliminazione e la replica dei blocchi, oltre alle richieste di lettura e scrittura. Ogni DataNode memorizza separatamente i dati HDFS nel proprio file system locale con ogni blocco come file separato. I DataNode sono i nodi worker (o daemon Hadoop, che eseguono processi in background) e possono essere eseguiti su hardware commerciali se un'organizzazione punta a risparmiare.
  

Sia NameNode che DataNode sono software scritti per funzionare su un'ampia varietà di sistemi operativi (OS), che spesso è il sistema operativo GNU/Linux. Nella creazione di HDFS è stato utilizzato il linguaggio Java, il che significa che qualsiasi macchina che supporta Java può utilizzare anche il software NameNode o DataNode.

Le distribuzioni avranno spesso una singola macchina dedicata che esegue il software NameNode. Quindi, qualsiasi altra macchina nel cluster esegue una singola istanza del software DataNode. Se necessario, ma utilizzato solo di rado, è possibile configurare più di un DataNode su una singola macchina.

Quando i dati vengono importati in HDFS, vengono suddivisi in blocchi e distribuiti a diversi nodi in un cluster. Con i dati memorizzati in più DataNode, i blocchi possono essere replicati su altri nodi per consentire l'elaborazione parallela. Il Distributed File System (DFS) include comandi per accedere, recuperare, spostare e visualizzare rapidamente i dati. Grazie alle repliche dei blocchi di dati su più DataNode, è possibile rimuovere una copia senza rischiare di danneggiare i file delle altre copie. La dimensione predefinita di un blocco HDFS è 128 MB (Hadoop 2.x), che può sembrare eccessiva, ma consente di ridurre al minimo i tempi di ricerca e ridurre i metadati necessari.

Per ridurre al minimo i rischi e velocizzare l'elaborazione, quando un DataNode smette di segnalare il NameNode, quel DataNode viene rimosso dal cluster e le operazioni continuano senza di esso. Se quel DataNode diventa successivamente operativo, viene assegnato a un nuovo cluster.

HDFS fornisce file flessibili di accesso ai dati tramite varie interfacce: un'API Java nativa è fornita con HDFS, mentre un wrapper in linguaggio C è disponibile per l'API Java, inoltre è possibile utilizzare un browser HTTP per cercare tra i file di un'istanza HDFS. 

HDFS è organizzato secondo una gerarchia di file tradizionale in cui l'utente può creare directory che contengono più file. La gerarchia del namespace del file system è simile a quella dei file system tradizionali, dove l'utente crea e rimuove i file, li sposta tra le directory e può rinominarli.

Il namespace del file system è gestito da NameNode, che conserva i record di tutte le modifiche apportate al namespace del file system. Il numero totale di repliche da salvare per qualsiasi applicazione può essere specificato qui. Questo numero è il fattore di replica per quel file. Il fattore di replica può essere impostato al momento della creazione del file e successivamente modificato in base alle esigenze.

Per fornire uno storage affidabile, HDFS memorizza i file di grandi dimensioni in più posizioni in un cluster di grandi dimensioni, con ogni file in una sequenza di blocchi. Ogni blocco viene memorizzato in un file della stessa dimensione, ad eccezione del blocco finale, che si riempie man mano che vengono aggiunti i dati. 

Per una maggiore protezione, i file HDFS possono essere scritti una sola volta da un solo scrittore alla volta. Per garantire che tutti i dati vengano replicati secondo le istruzioni, il NameNode riceve un heartbeat (un report di stato periodico) e un blockreport (l'ID del blocco, il generation stamp e la lunghezza di ogni replica di blocchi) da ogni DataNode collegato al cluster. La ricezione di un heartbeat indica che il DataNode funziona correttamente.

Il NameNode seleziona l'ID del rack per ogni DataNode utilizzando un processo chiamato Hadoop Rack Awareness per aiutare a prevenire la perdita di dati in caso di guasto di un intero rack. Ciò consente anche di utilizzare la larghezza di banda di più rack durante la lettura dei dati.