Apa itu mesh data?

Desain berbasis domain ini mengatasi banyak hambatan operasional yang ditemukan dalam sistem data monolitik terpusat. Namun, mengadopsi data mesh tidak membuat sistem penyimpanan data tradisional (seperti data lake atau data warehouse) menjadi usang. Sebaliknya, peran mereka bergeser dari melayani sebagai platform data tunggal yang terpusat ke mendukung beberapa repositori data terdesentralisasi.

Konsep data mesh diperkenalkan dan dipopulerkan oleh  Zhamak Dehghani, direktur teknologi baru untuk perusahaan konsultan TI ThoughtWorks. Ia mengusulkan arsitektur data terdistribusi ini sebagai solusi untuk tantangan yang melekat pada arsitektur data terpusat, seperti aksesibilitas yang terbatas dan silo organisasi.

Data mesh umumnya dibandingkan dengan arsitektur layanan mikro—di mana satu aplikasi terdiri dari banyak layanan yang lebih kecil dan terhubung secara longgar—karena keduanya menekankan desentralisasi, otonomi, dan skalabilitas.

Setiap hari, organisasi membuat dan mengumpulkan data dalam jumlah besar. Setiap departemen atau unit bisnis menghasilkan kumpulan data yang sering disimpan dalam repositori yang berbeda dan biasanya dikelola oleh tim data terpusat.

Pemisahan ini menciptakan silo data—kumpulan data operasional dan analitis terisolasi yang menghambat berbagi data, mengurangi kualitas data, dan melemahkan pengambilan keputusan berbasis data. Silo data juga membatasi efektivitas inisiatif big data, machine learning (ML), dan kecerdasan buatan (AI) .

Faktanya, menurut IBM Data Differentiator, 82% perusahaan melaporkan bahwa silo data mengganggu alur kerja penting, dan 68% data perusahaan tetap tidak dianalisis.

Arsitektur data mesh terdistribusi mengatasi tantangan ini dengan mendesentralisasi kepemilikan dan manajemen data. Alih-alih mengandalkan tim data terpusat dan pipeline tradisional, kepemilikan data dialihkan ke tim domain. Tim-tim ini mengelola data mereka sendiri dan menyediakannya sebagai produk ke seluruh organisasi melalui infrastruktur data layanan mandiri.

Pendekatan data-sebagai-produk ini menekankan pada aksesibilitas, tata kelola, dan utilitas. Ini didasarkan pada prinsip bahwa data, sama seperti produk konsumen berkualitas tinggi, harus dikelola dan diatur untuk memenuhi kebutuhan data spesifik penggunanya.

Produk data adalah aset mandiri yang dapat digunakan kembali yang mencakup data, metadata, semantik, dan templat. Produk data dirancang untuk contoh penggunaan tertentu dan untuk melayani berbagai pengguna di seluruh perusahaan, membantu mereka mengekstrak nilai bisnis yang berarti dari data yang mungkin tersilo.

Produk data dikembangkan dengan pendekatan pemikiran produk dan dengan menerapkan prinsip-prinsip pengembangan produk tradisional. Pendekatan ini melibatkan pemahaman kebutuhan data pengguna, memprioritaskan fitur bernilai tinggi, dan mengulangi berdasarkan masukan.

Produk data yang efektif harus dapat ditemukan, dimengerti, dapat dioperasikan, dapat dibagikan, aman, dan dapat digunakan kembali.

Paradigma data mesh lebih dari sekadar implementasi teknis. Hal ini melibatkan pergeseran budaya dalam cara organisasi berpikir tentang kepemilikan dan akses data. Secara tradisional, organisasi memperlakukan data domain sebagai produk sampingan dari suatu proses atau sistem. Namun, karena data mesh memperlakukan data sebagai produk, tim domain menjadi pemilik produk data.

Menurut Zhamak Dehghani, ada empat prinsip inti dari data mesh:¹

1. Kepemilikan dan arsitektur data terdesentralisasi yang berorientasi pada domain
2. Data sebagai produk
3. Infrastruktur data layanan mandiri sebagai platform
4. Tata kelola komputasi gabungan

Secara tradisional, infrastruktur terpusat atau tim rekayasa data akan mempertahankan kepemilikan data di seluruh domain. Dalam model data mesh, kepemilikan ini didesentralisasi dan dialihkan ke tim domain—mereka yang paling dekat dengan data dan paling familiar dengan cara penggunaannya. Pemilik data ini bertanggung jawab untuk menghasilkan produk data yang disesuaikan dengan penggunaan spesifik tersebut.

Tim domain juga mengelola pipeline ekstrak, transformasi, muat (ETL)/ekstrak, muat, transformasi (ELT) mereka sendiri dalam arsitektur data mesh. Namun, tanggung jawab ini tidak menghilangkan kebutuhan akan tim rekayasa data terpusat. Sebaliknya, peran mereka bergeser untuk menyediakan dan memelihara solusi infrastruktur data terbaik untuk menyimpan dan mengirimkan produk data.

Pendekatan data-sebagai-produk (DaAP) memperlakukan kumpulan data sebagai produk yang dapat dipasarkan yang dapat disajikan kepada berbagai pengguna di dalam dan di luar organisasi. Produk data domain dibuat dapat diakses oleh pengguna di seluruh organisasi melalui antarmuka pemrograman aplikasi (API) atau platform berbagi data.

Dengan cara ini, pendekatan mesh data memungkinkan integrasi data yang lebih fleksibel dan produk data yang dapat dioperasikan. Data dari beberapa domain dapat dengan mudah dikonsumsi untuk analisis data, ilmu data, machine learning, dan contoh penggunaan lainnya.

Platform data mandiri memiliki alat yang membantu tim domain, dengan pengetahuan build produk yang kurang terspesialisasi, untuk membuat, memelihara, dan berbagi produk data baru. Tim platform data dapat menyediakan layanan data seperti penyimpanan data yang dapat diskalakan, orkestrasi pipeline data, silsilah data, dan banyak lagi.

Platform layanan mandiri juga dapat memiliki berbagai bidang, atau lapisan, untuk melayani pengguna yang berbeda. Dehghani mencantumkan tiga contoh: bidang penyediaan infrastruktur data, bidang pengalaman pengembang produk data, dan bidang pengawasan data mesh.

Dalam ekosistem data mesh, tim domain bertanggung jawab untuk menentukan kebijakan tata kelola data yang terkait dengan dokumentasi, kualitas, dan akses. Hal ini termasuk memelihara definisi semantik, membuat katalog metadata dan menetapkan izin dan kebijakan penggunaan.

Standardisasi ini mendukung akses data layanan mandiri di seluruh organisasi, sementara tim tata kelola data terpusat menetapkan dan memelihara standar organisasi.

Data fabric dan data mesh adalah arsitektur data yang saling melengkapi. Faktanya, data fabric sering kali meningkatkan fungsionalitas dan memungkinkan implementasi data mesh.

Sebuah data fabric menggunakan sistem cerdas dan otomatis untuk memecah silo, mengelola aset data, dan mengoptimalkan manajemen data dalam skala besar. Data fabric berfokus pada otomatisasi proses penyerapan data, integrasi data, rekayasa data, dan tata kelola. Misalnya, data fabric dapat mengotomatiskan bagian-bagian penting dari data mesh, seperti pembuatan produk data dan pengelolaan siklus hidupnya.

Organisasi yang mengadopsi arsitektur data mesh dapat merasakan berbagai manfaat, termasuk:

• Demokratisasi dan penemuan data
• Efisiensi biaya
• Fleksibilitas terhadap skala
• Mengurangi utang teknis
• Interoperabilitas yang ditingkatkan
• Keamanan dan kepatuhan yang lebih kuat

Arsitektur data mesh dapat memfasilitasi akses data layanan mandiri dengan membuat kumpulan data mudah ditemukan dan digunakan. Demokratisasi ini memperluas akses data di luar tim teknis—seperti ilmuwan data, teknisi data, dan pengembang. Dengan tata kelola yang tepat, pendekatan ini juga dapat mengurangi silo data dan hambatan operasional, sehingga memungkinkan pengambilan keputusan yang lebih cepat dan lebih tangkas.

Arsitektur terdistribusi dari data mesh dapat mendorong adopsi platform data cloud dan pipeline untuk streaming data real-time. Alat-alat ini dapat meningkatkan visibilitas ke dalam biaya penyimpanan dan pemrosesan, memungkinkan anggaran dan alokasi sumber daya yang lebih baik untuk tim teknik.

Ketika organisasi menerapkan data mesh pada infrastruktur cloud, tim data dapat meningkatkan kapasitas penyimpanan dan menghitung sumber daya sesuai kebutuhan. Misalnya, jika daya komputasi tambahan diperlukan untuk menyelesaikan suatu pekerjaan dalam hitungan jam, bukan hari, perusahaan dapat dengan mudah menyediakan node komputasi tambahan sementara.

Mendistribusikan tanggung jawab pipeline data berdasarkan domain menghilangkan kerumitan dan kolaborasi yang diperlukan untuk memelihara sistem data terpusat. Pendekatan terdesentralisasi ini mengurangi beban teknis dan utang, dan mempercepat pengiriman ke konsumen data.

Data mesh mendorong tim domain untuk menyepakati bidang dan format data yang terstandardisasi dan bersifat agnostik domain (seperti jenis bidang, metadata, dan bendera skema). Aturan bersama ini memfasilitasi integrasi dan penggunaan kembali dengan membuat penerapan aturan yang relevan di berbagai domain menjadi cepat dan mudah.

Arsitektur mesh data membantu menegakkan aturan data dan kontrol akses di tingkat domain melalui aturan yang terstandardisasi dan pengamatan yang disematkan. Postur tata kelola yang kuat ini membantu memastikan bahwa organisasi mengikuti peraturan yang berkaitan dengan data sensitif, seperti Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan AS (HIPAA).

Melalui kepemilikan domain dan ekosistem data terdesentralisasi, arsitektur data mesh membantu organisasi meningkatkan aksesibilitas dan kegunaan data di berbagai contoh penggunaan, termasuk: