Apa itu kontrak data?

Kontrak data adalah perjanjian formal antara produsen data dan konsumen data yang mendefinisikan kualitas, struktur, semantik, dan ketersediaan data. Pembuatan dan penegakan perjanjian ini dapat membantu perusahaan memperkuat pengambilan keputusan berbasis data mereka.

Seperti kontrak bisnis tradisional, kontrak data mencakup syarat dan ketentuan yang mengatur apa yang dikirimkan dari satu pihak kepada pihak lainnya. Dalam kontrak data, ketentuan ini dapat mencakup komponen seperti aturan kualitas data, definisi skema, perjanjian tingkat layanan, informasi produsen data, dan informasi server.

Namun, yang membuat kontrak data benar-benar berbeda adalah bahwa kontrak tersebut ditulis dalam kode; oleh karena itu, perjanjian tersebut dapat ditegakkan melalui otomatisasi dan bukan proses manual.

Dampak kontrak data terhadap rekayasa data sering dibandingkan dengan dampak antarmuka pemrograman aplikasi (API) terhadap pengembangan perangkat lunak. API menetapkan aturan yang memungkinkan aplikasi perangkat lunak saling berkomunikasi, sedangkan kontrak data menetapkan aturan yang memungkinkan konsumen data berhasil mengintegrasikan dan menggunakan data dari berbagai sumber.

Dan, sama seperti API yang dikreditkan dengan meningkatkan produktivitas dan mempercepat inovasi dalam pengembangan perangkat lunak, keberhasilan implementasi kontrak data dapat menghasilkan berbagai manfaat bagi perusahaan dan pengguna data.

Manfaat yang paling penting adalah pencegahan kegagalan pipeline data. Tanpa kontrak data, perubahan di sisi hulu dalam proses produksi data dapat menimbulkan konsekuensi yang serius bagi pengguna hilir. Kontrak data dapat memastikan perubahan yang melanggar tersebut diidentifikasi dan ditangani sebelum berdampak pada konsumen data.

Manfaat lain dari kontrak data mencakup peningkatan kualitas data, tata kelola data, dan skalabilitas. Kontrak data juga menyediakan fondasi penting bagi produk data dan arsitektur data mesh, yang memungkinkan pengguna bisnis menemukan serta memperoleh nilai dari data di seluruh organisasi.

Ada berbagai alat dan platform yang membantu bisnis menentukan dan menegakkan kontrak data, termasuk alat kualitas data dan platform tata kelola data.

Pipeline data yang rapuh dan rentan mengalami kerusakan merupakan tantangan besar bagi banyak insinyur data. Sebuah studi menemukan bahwa lebih dari setengah insinyur mengalami kegagalan pipeline dalam sistem data mereka setidaknya satu kali setiap bulan, bahkan lebih.¹

Terlalu sering, seperti yang dicatat oleh seorang Data Architect, pipeline data “dirakit dengan lakban dan keputusasaan.” Ketika gagal, pipeline tersebut dapat berdampak buruk pada pengambilan keputusan dan inisiatif kecerdasan buatan (AI).

Kontrak data dapat membantu mencegah konsekuensi semacam itu dengan mengatasi salah satu penyebab paling umum kegagalan pipeline: ketidakselarasan antara produsen data dan konsumen data. Ketidakselarasan ini terjadi ketika data baru yang disediakan oleh produsen tidak memenuhi harapan konsumen, yang mungkin bergantung pada tipe data, skema, dan berbagai batasan tertentu agar data tersebut sesuai dengan kebutuhan contoh penggunaan mereka.

Tidak mengherankan jika konsumen hilir dapat “meragukan stabilitas data yang mereka temukan,” menurut Jean-Georges Perrin, IBM® Champion seumur hidup. “Untuk menciptakan kepercayaan, produsen data atau pemilik data perlu menunjukkan dan menjamin sebuah janji,” tulis Perrin di. 

Janji semacam itu—baik terkait kualitas data, validasi, akses, maupun struktur—dapat dijamin melalui penerapan kontrak data. Ketika produsen data dan konsumen data menyelaraskan serta mengodifikasi persyaratan data mereka, berbagai masalah kualitas data dapat dicegah sebelum memengaruhi alur kerja hilir.

Kontrak data muncul sebagai hal yang sangat menonjol untuk alur kerja AI, karena memastikan data yang tepat untuk pelatihan model dan analisis data sangat penting untuk prediksi yang akurat.

“Anda mendapatkan data yang lebih baik di sistem Anda, jadi Anda tidak memiliki sampah masuk, sampah keluar,” kata Perrin.

Karena ketidakselarasan antara produsen data dan konsumen sebagian besar mendorong kebutuhan akan kontrak data, ada baiknya untuk melihat lebih dekat kedua kelompok ini dan peran mereka dalam ekosistem data.

• Produsen data sering kali merupakan insinyur perangkat lunak yang mengumpulkan dan menyimpan data saat membangun aplikasi. Data ini sering mencakup peristiwa transaksional, seperti pesanan pelanggan, yang dapat sangat bervariasi dalam hal skema, ukuran, konten, dan lainnya.²
  
  
• Konsumen data mencakup konsumen data teknis (insinyur data, ilmuwan data, dan anggota tim data lainnya yang menggunakan bahasa pemrograman untuk mengolah, menganalisis, dan membangun pipeline data) serta konsumen data nonteknis, yaitu pengguna bisnis yang memanfaatkan data yang telah ditransformasikan untuk mendukung pengambilan keputusan.

Konsumen data bergantung pada produsen untuk menyediakan data mereka bagi penggunaan hilir. Namun, ketergantungan ini tidak serta-merta menciptakan hubungan yang kuat antara konsumen dan produsen. Hal ini karena produsen cenderung menyimpan data dalam format yang paling sesuai dengan aplikasi mereka, sementara kebutuhan manajemen data dari konsumen hilir bukanlah bagian yang secara inheren menjadi fokus mereka.

Akibatnya, ketika insinyur perangkat lunak memperbarui aplikasi dan kode, mereka mungkin tidak mempertimbangkan bagaimana pembaruan tersebut memengaruhi data yang akhirnya dikirimkan ke konsumen data.

Ketika perubahan semacam itu terjadi tanpa diduga—bahkan perubahan yang relatif kecil, seperti menghapus satu kolom dari tabel yang memiliki 1.000 kolom—dampaknya dapat sangat mengganggu konsumen data. Perubahan yang dikenal sebagai perubahan yang merusak ini dapat mengganggu aliran data dan mengancam kompatibilitas kumpulan data.

Akibatnya, skrip gagal, dasbor menjadi basi atau tidak akurat, dan baik manusia maupun agen AI kehilangan data andal yang diperlukan untuk keputusan dan operasi utama.

Dengan menetapkan perjanjian definitif antara produsen data dan konsumen data, kontrak data dapat memecah silo yang memisahkan kedua kelompok tersebut, mencegah ketidakselarasan dan mendukung jalur data yang lebih fungsional.

Kontrak data, sebagaimana dicatat oleh para pendukungnya, mengubah asumsi implisit menjadi jaminan yang eksplisit: Kontrak ini menjelaskan secara rinci apa yang harus disediakan oleh produsen data kepada konsumen data serta bagaimana penyampaian tersebut diharapkan dilakukan. Elemen-elemen utama dalam kontrak data meliputi:

• Dasar-dasar
• Skema
• Kualitas data
• Saluran dukungan
• Harga
• Tim
• Peran
• Perjanjian tingkat layanan (SLA)
• Infrastruktur dan server

Dasar-dasar, yang juga dikenal sebagai demografi, mencakup informasi umum mengenai kontrak. Informasi ini dapat meliputi pengidentifikasi unik, versi kontrak (misalnya 1.0 atau 2.0), status kontrak (seperti “aktif” atau “dihentikan”), tujuan penggunaan data yang dimaksudkan, serta batasan hukum terkait penggunaan data.

Definisi skema menjelaskan bagaimana data diorganisasikan. Definisi ini menentukan objek (struktur data seperti tabel dan dokumen), properti objek (seperti kolom dalam tabel), serta metadata untuk tipe data yang disertakan, seperti cap waktu (timestamp) dan batas panjang string. Registri skema, yaitu repositori terpusat untuk mengelola skema, dapat membantu mendukung penerapan kontrak data.

Kontrak data menetapkan aturan dan parameter untuk memastikan kualitas data yang tinggi. Kontrak ini dapat mencakup berbagai metrik kualitas data, seperti akurasi, kelengkapan, validitas, dan jumlah nilai null. Selain itu, aturan khusus dapat memungkinkan alat kualitas data melakukan pemeriksaan kualitas secara otomatis.

Kontrak data dapat mencantumkan sumber untuk dukungan—seperti saluran Slack, saluran Teams, obrolan Discord, daftar distribusi email, dan situs web—untuk konsumen data yang membutuhkan bantuan dengan kontrak data mereka.

Bagian harga dari kontrak data mencantumkan apa yang dikenakan kepada konsumen data untuk produk data. Ini dapat mencakup mata uang yang digunakan dan satuan ukuran (seperti megabyte atau gigabytes) yang dapat digunakan untuk menghitung biaya.

Dikenal dalam beberapa templat kontrak data yang lebih lama sebagai “pemangku kepentingan,“ bagian tim dari kontrak data mencakup informasi tentang anggota tim yang memiliki data dan hubungannya dengan kontrak data.

Bagian peran dari kontrak data mencantumkan peran yang menyediakan konsumen data berbagai jenis akses (seperti akses baca atau tulis) ke kumpulan data.

Kontrak data mencakup deskripsi perjanjian tingkat layanan (SLA), yang menetapkan tingkat kinerja yang diharapkan dari penyedia data. Misalnya, bagian SLA dapat menjelaskan jaminan mengenai kapan data akan tersedia serta berapa lama data tersebut akan disimpan.

Menentukan server data—seperti Kafka, Microsoft SQL, Google BigQuery, atau IBM® Db2—memungkinkan server tersebut ditemukan oleh konsumen data sekaligus memberikan insinyur platform informasi yang diperlukanuntuk mengotomatiskan akses. Bagian ini juga dapat mencakup informasi tentang berbagai lingkungan, seperti pengembangan dan produksi.

Selain nilai inti yang terdapat dalam kontrak data, para pemangku kepentingan dapat menambahkan properti khusus untuk memenuhi kebutuhan spesifik mereka. Versi terbaru dari templat kontrak data yang populer juga mencakup kemampuan untuk mendokumentasikan hubungan antarproperti, merujuk ke kontrak eksternal, dan mengakses pustaka aturan kualitas data yang telah ditentukan sebelumnya guna memastikan pemeriksaan kualitas yang konsisten.

Kontrak data berbeda dari jenis kontrak lainnya karena tidak ditulis dalam bahasa biasa. Sebaliknya, kontrak data umumnya ditulis dalam YAML atau JSON, yaitu bahasa serialisasi data yang dapat dibaca oleh manusia maupun mesin. (Bagi pengguna yang tidak terbiasa dengan bahasa serialisasi untuk pengodean, kontrak data dapat dibuat di Excel lalu dikonversi menjadi file YAML menggunakan alat sumber terbuka, Data Contract CLI.)

Keuntungan menulis kontrak data dalam bahasa serialisasi adalah kemampuannya untuk mendukung otomatisasi sebagai pengganti proses manual yang memakan waktu. Kontrak data yang dapat dibaca mesin dapat diintegrasikan ke dalam platform data dan alat penegakan kebijakan. Organisasi dapat menerapkan solusi ini untuk menguji apakah kumpulan data mematuhi aturan yang ditetapkan dalam kontrak data, sehingga mereka dapat mengatasi masalah sebelum menyebabkan kegagalan pipeline.

Banyak kontrak data didasarkan pada Standar Kontrak Data Terbuka (ODCS). Seperti namanya, ODCS adalah kerangka kerja sumber terbuka untuk menstandarkan kontrak data. Standar ini dikembangkan oleh Bitol, sebuah proyek sandbox Data dari Linux Foundation AI & Data, di bawah lisensi Apache 2.0, dan tersedia di GitHub.

Pendukung inisiatif mengatakan itu membantu memfasilitasi inovasi dengan memungkinkan organisasi untuk menerapkan kontrak data yang mendukung arsitektur data mereka tanpa risiko vendor lock-in.

Kontrak data dapat alamat beberapa masalah dalam pipeline data, membuka jalan bagi organisasi untuk buka nilai dari aset data mereka. Manfaat kontrak data meliputi:

Kontrak data sering disebutkan dalam diskusi seputar produk data dan mesh data. Ini untuk alasan yang baik: kontrak data memainkan peran kunci dalam mendukung kedua teknologi ini.

Mari kita mulai dengan produk data. Produk data adalah paket mandiri yang dapat digunakan kembali yang menggabungkan data, metadata, semantik, dan templat untuk mendukung berbagai contoh penggunaan bisnis. Kontrak data dapat berfungsi sebagai “kontrol kualitas” bagi produk data, memastikan bahwa data di dalamnya konsisten, andal, dan diformat dengan benar.

Perrin menjelaskan hubungan antara produk data dan kontrak data melalui analogi kekeluargaan: “Kontrak data dan produk data seperti sepupu yang tidak terpisahkan—selalu bekerja bersama, selalu selaras, dan selalu memastikan semuanya berjalan dengan lancar.”

Pentingnya kontrak data bagi produk data juga menjadikannya komponen penting dalam fungsionalitas data mesh. Data mesh adalah arsitektur data terdesentralisasi yang mengorganisasi data berdasarkan domain bisnis, seperti pemasaran, penjualan, atau layanan pelanggan.

Dalam arsitektur data mesh, produsen data di setiap domain menggunakan produk data yang memungkinkan pengguna bisnis menemukan dan memanfaatkan data dari berbagai bagian organisasi. Oleh karena itu, ketika kontrak data memastikan kinerja dan keandalan produk data, kontrak tersebut turut mendukung keberhasilan implementasi data mesh secara keseluruhan.

Dalam buku Data Contracts, pakar data Chad Sanderson, Mark Freeman dan BE Schmidt menggambarkan proses berikut untuk bagaimana kontrak data bekerja.³

• Konsumen data mengidentifikasi kebutuhan data mereka untuk memenuhi tujuan bisnis.
  
  
• Konsumen data teknis menerjemahkan persyaratan bisnis ke dalam persyaratan teknis untuk data.
  
  
• Konsumen data meminta kontrak data dari produsen data berdasarkan persyaratan ini.
  
  
• Produsen data menentukan apakah permintaan tersebut layak.
  
  
• Kontrak data ditulis dalam kode, seperti YAML.
  
  
• Produsen data membuat permintaan pull (cara untuk mengusulkan perubahan ke repositori) ketika mereka perlu mengubah aset data.
  
  
• Pemeriksaan berbasis kontrak data dilakukan pada perubahan yang diminta sebagai bagian dari pipeline CI/CD untuk memastikan tidak melanggar ketentuan kontrak.
  
  
• Produsen data diberitahu jika perubahan melanggar kontrak, memicu langkah-langkah untuk alamat pelanggaran tersebut.

Organisasi dapat memilih dari berbagai alat dan platform untuk membuat dan mengelola kontrak data. Termasuk:

• Proyek sumber terbuka yang melakukan serialisasi dan deserialisasi data, seperti Apache Avro dan Google Protocol Buffer (protobuf)
  
  
• Kualitas data dan alat pengujian, seperti Great Expectations dan dBT
  
  
• Registri skema untuk memeriksa kompatibilitas skema, seperti registri Confluent
  
  
• Platform tata kelola data dengan fitur-fitur seperti pelacakan silsilah data dan katalog data

Kebutuhan unik organisasi dan tumpukan data yang ada dapat membantu menentukan solusi kontrak data atau kombinasi solusi mana yang terbaik untuk mendukung kontrak data mereka.