Apa itu Hadoop Distributed File System (HDFS)?

Karena satu instance HDFS dapat terdiri dari ribuan server, kegagalan pada setidaknya satu server selalu ada. HDFS telah dibangun untuk mendeteksi kesalahan dan secara otomatis pulih dengan cepat. Data replication dengan beberapa salinan di banyak node membantu melindungi dari kehilangan data. HDFS menyimpan setidaknya satu salinan di rak yang berbeda dari semua salinan lainnya. Penyimpanan data ini dalam cluster besar di seluruh node meningkatkan keandalan. Selain itu, HDFS dapat mengambil snapshot penyimpanan untuk menyimpan informasi point-in-time (PIT).

HDFS lebih ditujukan untuk pemrosesan batch daripada penggunaan interaktif, sehingga penekanan dalam desain adalah untuk tingkat throughput data yang tinggi, yang mengakomodasi akses streaming ke kumpulan data.

HDFS mengakomodasi aplikasi yang menggunakan kumpulan data biasanya dari ukuran gigabyte hingga terabyte. HDFS menyediakan bandwidth data agregat tinggi dan dapat menskalakan hingga ratusan node dalam satu cluster dan membantu mendorong sistem komputasi kinerja tinggi (HPC). Data lake biasanya disimpan di HDFS. Gudang data juga telah menggunakan HDFS, tetapi sekarang lebih jarang, karena kompleksitas operasi yang dirasakan.

Karena data disimpan secara virtual, biaya untuk metadata sistem file dan penyimpanan data ruang nama sistem file dapat dikurangi.

Untuk memfasilitasi adopsi, HDFS dirancang agar portabel di berbagai platform perangkat keras dan kompatibel dengan berbagai sistem operasi, termasuk Linux, macOS, dan Windows. Selain itu, danau data Hadoop mampu mendukung basis data yang tidak terstruktur, semi terstruktur, dan terstruktur, untuk fleksibilitas maksimum. Sementara Hadoop dikodekan dalam Java, bahasa lain, termasuk C++, Perl, Python, dan Ruby, memungkinkan penggunaannya dalam ilmu data.

HDFS menggunakan arsitektur cluster untuk membantu memberikan throughput yang tinggi. Untuk mengurangi lalu lintas jaringan, sistem file Hadoop menyimpan data di DataNodes tempat perhitungan berlangsung, daripada memindahkan data ke lokasi lain untuk komputasi. 

Dengan fitur skalabilitas horizontal dan vertikal, HDFS dapat dengan cepat disesuaikan agar sesuai dengan kebutuhan data organisasi. Sebuah cluster mungkin mencakup ratusan atau ribuan node.

• Cluster HDFS mencakup satu NameNode, yang merupakan server direktur. NameNode melacak status semua file, izin file, dan lokasi setiap blok. Perangkat lunak NameNode mengelola namespace sistem file yang pada gilirannya melacak dan mengontrol akses klien ke file dan melakukan operasi seperti membuka, menutup, dan mengganti nama direktori dan file.
  
  Namespace sistem file juga membagi file menjadi blok dan memetakan blok ke DataNodes, yang merupakan bagian pekerja dari sistem. Dengan mengonfigurasi hanya dengan satu NameNode per klaster, arsitektur sistem menyederhanakan manajemen data dan penyimpanan metadata HDFS. Selain itu, keamanan yang lebih besar dibangun dengan menjaga data pengguna agar tidak mengalir melalui NameNode.
  
  
• Umumnya, ada satu DataNode per node dalam sebuah cluster yang mengelola penyimpanan data di dalam node tersebut. Perangkat lunak DataNode mengelola pembuatan blok, penghapusan dan replikasi, ditambah permintaan baca dan tulis. Setiap DataNode secara terpisah menyimpan data HDFS dalam sistem file lokal dengan setiap blok sebagai file terpisah. DataNode adalah node pekerja (atau daemon Hadoop, yang menjalankan proses di latar belakang) dan dapat berjalan pada perangkat keras komoditas jika organisasi ingin menghemat.
  

Baik NameNode maupun DataNode adalah perangkat lunak yang ditulis untuk berjalan pada berbagai macam sistem operasi (OS), yang biasanya adalah OS GNU/Linux. Bahasa Java digunakan dalam membangun HDFS, yang berarti bahwa mesin apa pun yang mendukung Java juga dapat menggunakan perangkat lunak NameNode atau DataNode.

Penerapan sering kali memiliki satu mesin khusus yang menjalankan perangkat lunak NameNode. Kemudian, mesin lain di kluster menjalankan satu contoh perangkat lunak DataNode. Jika diperlukan, tetapi jarang digunakan, konfigurasi lebih dari satu DataNode pada satu mesin dimungkinkan.

Ketika data dibawa ke HDFS, itu dipecah menjadi blok dan didistribusikan ke node yang berbeda dalam sebuah cluster. Dengan data yang disimpan di beberapa DataNode, blok dapat direplikasi ke node lain untuk memungkinkan pemrosesan paralel. Sistem file terdistribusi (DFS) menyertakan perintah untuk mengakses, mengambil, memindahkan, dan melihat data dengan cepat. Dengan replika blok data di beberapa DataNode, satu salinan dapat dihapus tanpa risiko kerusakan file pada salinan lainnya. Ukuran blok HDFS default adalah 128 MB (Hadoop 2.x), yang oleh sebagian orang dianggap besar, tetapi ukuran blok dilakukan untuk meminimalkan waktu pencarian dan mengurangi metadata yang dibutuhkan.

Untuk meminimalkan risiko dan mempercepat pemrosesan, ketika sebuah DataNode berhenti memberi sinyal pada NameNode, DataNode tersebut akan dihapus dari klaster dan operasi akan dilanjutkan tanpa DataNode tersebut. Jika DataNode tersebut kemudian beroperasi, maka akan dialokasikan ke cluster baru.

HDFS menyediakan file akses data yang fleksibel melalui berbagai antarmuka: API Java asli disediakan dengan HDFS, sementara pembungkus bahasa C tersedia untuk API Java, ditambah browser HTTP dapat digunakan untuk menelusuri file instance HDFS. 

HDFS diatur dengan hierarki file tradisional di mana pengguna dapat membuat direktori yang berisi banyak file. Hirarki ruang nama sistem file mirip dengan sistem file tradisional, di mana pengguna membuat dan menghapus file, memindahkannya di antara direktori, dan dapat mengganti nama file.

Namespace sistem file dikelola oleh NameNode, yang menyimpan catatan perubahan apa pun dalam namespace sistem file. Jumlah total replika yang akan disimpan untuk aplikasi apa pun dapat ditentukan di sini. Angka itu adalah faktor replikasi untuk file itu. Faktor replikasi dapat diatur saat file dibuat dan kemudian dimodifikasi sesuai kebutuhan.

Untuk menyediakan penyimpanan yang andal, HDFS menyimpan file besar di beberapa lokasi dalam cluster besar, dengan setiap file dalam urutan blok. Setiap blok disimpan dalam file dengan ukuran yang sama, kecuali untuk blok terakhir, yang terisi saat data ditambahkan. 

Untuk perlindungan tambahan, file HDFS hanya dapat ditulis satu kali oleh satu penulis saja setiap saat. Untuk membantu memastikan bahwa semua data sedang direplikasi seperti yang diinstruksikan. NameNode menerima detak jantung (laporan status berkala) dan laporan blok (ID blok, stempel generasi, dan panjang setiap replika blok) dari setiap DataNode yang terpasang pada cluster. Menerima detak jantung menunjukkan bahwa DataNode bekerja dengan benar.

NameNode memilih ID rak untuk setiap DataNode dengan menggunakan proses yang disebut Hadoop Rack Awareness untuk membantu mencegah hilangnya data jika seluruh rak gagal. Ini juga memungkinkan penggunaan bandwidth dari beberapa rak saat membaca data.