Apa yang dimaksud dengan Resilient Distributed kumpulan data (RDD)?

Spark dikembangkan untuk mengatasi kekurangan pada MapReduce, sebuah model pemrograman untuk "chunking" tugas pemrosesan data yang besar menjadi tugas-tugas paralel yang lebih kecil.

MapReduce bisa lambat dan tidak efisien. Ini membutuhkan replikasi (mempertahankan beberapa salinan data di lokasi yang berbeda), serialisasi (mengkoordinasikan akses ke sumber daya yang digunakan oleh lebih dari satu program), dan I/O yang intens (input/output penyimpanan disk). 

Spark secara khusus mengurangi pemrosesan yang tidak perlu. Sementara MapReduce menulis data perantara ke disk, Spark menggunakan RDD untuk menyimpan cache dan menghitung data dalam memori. Hasilnya adalah analytics engine Spark dapat memproses data 10-100 kali lebih cepat daripada MapReduce.¹

Apache Spark adalah mesin pemrosesan data berskala besar, open source, dan cepat yang sering digunakan untuk aplikasi machine learning (ML) dan kecerdasan buatan (AI). Spark dapat dilihat sebagai peningkatan pada Hadoop, lebih khusus lagi, pada kerangka kerja MapReduce. 

Spark menskalakan dengan mendistribusikan alur kerja pemrosesan data di seluruh kelompok besar komputer, dengan dukungan bawaan untuk komputasi paralel pada beberapa node dan toleransi kesalahan.

Ini mencakup antarmuka pemrograman aplikasi (API) untuk ilmu data umum dan bahasa pemrograman rekayasa data, termasuk Java, Python (PySpark), Scala dan R.

Spark menggunakan RDD untuk mengelola dan memproses data. Setiap RDD dibagi menjadi partisi logis, yang dapat dihitung pada node cluster yang berbeda secara bersamaan. Pengguna dapat melakukan 2 jenis operasi RDD: transformasi dan tindakan.

• Transformasi adalah operasi yang membuat RDD baru.
  
  
• Tindakan menginstruksikan Spark untuk menerapkan komputasi dan meneruskan hasil kembali ke driver Spark, proses yang mengelola pekerjaan Spark.

Spark melakukan transformasi dan tindakan pada RDD dalam memori—kunci kecepatan Spark. Spark dapat menyimpan data dalam memori atau menulis data ke disk untuk persistensi tambahan. 

Resilient Distributed Dataset bersifat tangguh dan terdistribusi. Ini artinya:

Selain 2 karakteristik inti ini, RDD memiliki fitur lain yang berkontribusi pada kepentingan dan operasinya di Spark.

Banyak kerangka kerja pemrosesan data—dan khususnya MapReduce —harus melakukan beberapa operasi baca atau tulis dari sistem penyimpanan eksternal, yang memperlambat kinerjanya. RDD membantu Apache Spark memecahkan masalah ini.

RDD mengurangi I/O disk dengan menggunakan komputasi dalam memori yang menyimpan hasil antara dari operasi iteratif dalam memori akses acak (RAM). Menggunakan komputasi dalam memori dan penyimpanan dapat mendukung akses yang lebih cepat dan pemrosesan hampir real-time.

RDD juga dapat membantu mempercepat waktu pelatihan untuk algoritma machine learning dan pemrosesan analitik big data berskala besar. Penggunaan komputasi dalam memori dapat mengurangi waktu yang diperlukan untuk mengakses penyimpanan data.

Di Spark, semua transformasi—operasi yang diterapkan untuk membuat RDD baru—bersifat “malas,” artinya data tidak dimuat atau dihitung segera.

Sebaliknya, transformasi dilacak dalam grafik acyclic terarah (DAG) dan dijalankan hanya ketika ada ajakan bertindak khusus untuk program driver.

Program driver mengarahkan fungsi utama dan operasi untuk komputasi cluster pada pekerjaan Spark, seperti agregasi, pengumpulan, penghitungan atau penyimpanan output ke sistem file.

Puluhan tindakan dan transformasi yang mungkin dilakukan termasuk aggregateByKey, countByKey, flatMap, groupByKey, reduceByKey, dan sortbyKey.

Evaluasi malas membantu mengoptimalkan pipeline pemrosesan data dengan menghilangkan pemrosesan yang tidak perlu dan pemotongan perhitungan yang tidak diperlukan.

Spark secara otomatis mempartisi RDD di beberapa node sehingga dapat memproses volume data yang sangat besar yang tidak dapat ditampung dalam satu node. Untuk membantu menghindari korupsi, setiap partisi tunggal disimpan pada satu node daripada didistribusikan di beberapa node. 

RDD memungkinkan organisasi untuk menentukan penempatan partisi komputasi sehingga tugas-tugas dapat berjalan mendekati data yang dibutuhkan. Penempatan ini membantu meningkatkan kecepatan pemrosesan.

Selain itu, jumlah eksekutor (komputer yang menjalankan tugas seperti yang ditugaskan oleh driver) dalam cluster dapat ditingkatkan untuk meningkatkan paralelisme dalam sistem. Tingkat paralelisme dalam output tergantung pada jumlah partisi di RDD induk. 

RDD dapat dibuat dalam partisi logis di seluruh cluster untuk mengaktifkan operasi paralel pada beberapa node. RDD dapat dibuat dari berbagai sumber penyimpanan yang stabil, seperti Amazon Web Services (AWS) S3, Hadoop Distributed File System (HDFS), Apache HBase, dan Cassandra. Mereka juga dapat dibuat melalui bahasa pemrograman seperti Scala dan Python.

Spark RDD dapat menyimpan kumpulan data dalam memori di seluruh operasi. Setiap node dapat menyimpan partisi yang telah dihitung dalam memori dan menggunakannya kembali untuk tindakan selanjutnya pada kumpulan data atau kumpulan data yang dihasilkan. Persistensi ini dapat sangat mempercepat pemrosesan.

Spark juga memberi pengguna opsi penyimpanan interaktif, memberi mereka kontrol atas bagaimana data disimpan. Data dapat disimpan dalam memori, pada disk, atau campuran keduanya.

RDD tidak dapat diubah, artinya mereka tidak dapat dimodifikasi setelah pembuatan. Kemampuan ini membantu data tetap stabil dari waktu ke waktu melalui berbagai operasi.

Hal ini juga memudahkan dan membuat lebih aman untuk berbagi data di berbagai proses, dan membantu melindungi dari kerusakan yang dapat disebabkan oleh pembaruan simultan dari berbagai thread. 

Sementara RDD tidak dapat diubah, pengguna dapat membuat RDD baru dengan menerapkan transformasi ke yang sudah ada, yang memungkinkan kumpulan data diperbarui tanpa mengubah data asli.

RDD dapat memproses data tidak terstruktur dan terstruktur. Saat memproses data yang tidak terstruktur, informasi dapat diambil dari beberapa jenis database, aliran media, atau file teks tanpa perlu skema tetap atau membuat DataFrame.

Konon, pengguna dapatmembuat DataFrames di Spark, yang memungkinkan mereka memanfaatkan pengoptimalan tertentu untuk meningkatkan kinerja.