Apa itu data sebagai produk (DaaP)?

Konsep data sebagai produk telah menjadi strategi populer bagi organisasi yang ingin memaksimalkan potensi aset data mereka.

DaaP mengubah data mentah menjadi produk yang terstruktur, dapat diakses, dan berharga. Transformasi ini mendorong organisasi untuk memandang akumulasi data selama beberapa dekade—terdiri atas dokumentasi, kumpulan data, dan catatan digital—sebagai sumber berharga yang kaya akan insight penting untuk pengambilan keputusan strategis dan peningkatan interaksi pelanggan.

Potensi data sering terhambat oleh silo, yang membuatnya sulit diakses dan kurang dimanfaatkan. Kemunculan DaaP membawa perubahan signifikan dengan mengedepankan pendekatan sistematis untuk manajemen data yang menitikberatkan pada aksesibilitas, tata kelola, dan utilitas. Metodologi ini didasarkan pada prinsip bahwa data, seperti produk konsumen, harus dikelola dan diatur dengan cermat untuk memenuhi kebutuhan spesifik penggunanya—baik itu pelanggan, karyawan, atau mitra.

Meskipun terkait, DaaP dan produk data melayani tujuan yang berbeda dalam manajemen data.

DaaP adalah pendekatan holistik dalam manajemen data yang sejalan dengan prinsip data mesh, yang bertujuan untuk memperlakukan data sebagai produk yang dapat dipasarkan dan diakses oleh berbagai pengguna, baik di dalam maupun di luar organisasi. DaaP berisi kode, data dan metadata dan infrastruktur yang diperlukan untuk menjalankannya.

Platform insight pelanggan yang dirancang untuk perusahaan retail adalah contoh DaaP yang baik. Platform ini mengintegrasikan data pelanggan dari berbagai titik kontak—seperti pembelian di toko, perilaku belanja online, interaksi layanan pelanggan, dan aktivitas media sosial—untuk memberikan gambaran lengkap tentang preferensi, perilaku, dan pola pembelian masing-masing pelanggan.

Sebaliknya, produk data berfokus pada penggunaan data untuk menghasilkan insight yang dapat ditindaklanjuti, seperti dasbor analitik atau model prediktif. Mereka dirancang untuk menyelesaikan masalah spesifik menggunakan teknik pemrosesan data yang canggih dan melayani berbagai audiens, termasuk manajer produk, ilmuwan data, dan pengguna akhir. Contoh produk data meliputi dasbor analitik bisnis, chatbot atau sistem rekomendasi seperti yang Anda temui saat berbelanja di Amazon.

Kedua konsep ini berbagi landasan yang sama dalam manajemen dan tata kelola data, dengan tujuan utama untuk memaksimalkan nilai data secara optimal.

Ketika perusahaan mulai berinvestasi dalam teknologi penyimpanan data canggih untuk memudahkan akses dan pemanfaatan data guna menghasilkan wawasan bisnis dan mengotomatiskan keputusan, para insinyur data sering menghadapi tantangan karena solusi yang ada tidak selalu dapat diskalakan dengan efektif. Karena data sering kali penuh dengan kesalahan, tidak lengkap, dan tidak bermakna atau jujur—dan karena mereka memiliki sedikit pemahaman tentang domain sumber yang menghasilkan data ini — para insinyur berjuang untuk mengoreksi apa yang tidak mereka ketahui atau pahami.

Para insinyur data menyadari bahwa mereka perlu mengubah pendekatan dalam merancang arsitektur terdistribusi yang modern dan lebih efisien. Mereka menyadari pentingnya menerapkan metodologi baru yang membangun arsitektur berdasarkan domain bisnis spesifik yang ingin didukung. Pendekatan ini menggabungkan pemikiran produk untuk mengembangkan infrastruktur data layanan-mandiri yang fungsional dan ramah pengguna.¹

Pemikiran produk lebih dari sekadar fitur sebuah produk; ini tentang menciptakan solusi yang bermakna yang sesuai dengan pengguna dan menonjol di pasar. Filosofi ini memengaruhi setiap tahap pengembangan produk, mulai dari perencanaan awal hingga peluncuran dan perbaikan berkelanjutan. Para insinyur menyadari bahwa dengan memperlakukan data sebagai produk, mereka dapat secara signifikan meningkatkan pemanfaatan dan nilai data di dalam organisasi.

Dengan mengadopsi pendekatan yang memperlakukan kumpulan data sebagai produk, tim domain dari area bisnis tertentu dibentuk untuk mengelola dan mendistribusikan data mereka di seluruh organisasi. Tujuannya adalah untuk meningkatkan pengalaman pengguna, terutama bagi konsumen utama data—biasanya ilmuwan dan insinyur data.

Tim domain ini membagikan data mereka melalui API (Antarmuka Pemrograman Aplikasi), lengkap dengan dokumentasi yang mendetail, lingkungan pengujian yang andal, dan indikator kinerja yang jelas.

DaAP yang berhasil harus memenuhi persyaratan berikut:

1. Mudah ditemukan
2. Dapat dialamatkan
3. Dapat dipercaya
4. Didokumentasikan dengan baik
5. Mampu bekerja dengan produk data lainnya
6. Aman

Dalam metodologi DaaP, data harus mudah ditemukan, terpercaya, memiliki definisi yang jelas, dapat diintegrasikan dengan data lain, dan terlindungi dari akses yang tidak sah.

Bayangkan DaaP seperti perjalanan udara, di mana setiap data adalah penumpang. Organisasi dan pengguna perlu mengetahui asal usul setiap data, transformasi apa saja yang terjadi padanya, dan ke mana tujuannya. Ini disebut silsilah data dan merupakan elemen penting dari adopsi DaaP yang efektif. Dengan alat seperti IBM InfoSphere, AWS Glue, atau Cloudera Data Hub, organisasi dapat mengelola metadata dan melacak alur data secara jelas, memastikan transparansi dan mencegah kebingungan.

Setelah setiap penumpang diperiksa dengan benar, mereka naik ke pesawat. Seperti halnya maskapai penerbangan yang harus memastikan pesawatnya cukup besar dan kuat untuk menampung penumpang, organisasi perlu menggunakan infrastruktur yang dapat diskalakan untuk mengelola pertumbuhan volume data dan memenuhi beragam kebutuhan akses. Bergantung pada kebutuhan bisnis dan segmen pasar organisasi, ada sejumlah platform berbasis cloud, solusi sumber terbuka, dan platform komersial yang bisa dipilih oleh organisasi.

Sekarang, bayangkan membutuhkan informasi penerbangan, tetapi sistemnya sedang tidak aktif. Hal ini dapat merusak kepercayaan pelanggan dan membuat maskapai penerbangan tampak tidak dapat diandalkan dan tidak efisien. Karena itu, alat DaaP harus disediakan secara konsisten untuk mencegah masalah ini. Itulah mengapa rganisasi perlu menyusun rencana dan laporan yang jelas tentang langkah-langkah pemulihan data dan redundansi.

Tidak ada perjalanan udara tanpa keamanan dan hal yang sama berlaku untuk DaaP. Fitur keamanan seperti kontrol akses berbasis peran, enkripsi data, dan sistem deteksi intrusi melindungi data sensitif sekaligus memastikan kepatuhan terhadap regulasi seperti GDPR dan HIPAA. Praktik tata kelola seperti pemantauan kualitas data, katalogisasi, dan manajemen perubahan memastikan data organisasi tetap andal dan mudah diakses.

Inti dari DaaP adalah orkestrasi kumpulan data yang sangat teliti. Kumpulan data ini dikurasi melalui praktik rekayasa data, yang mencakup desain, pembangunan, dan pengelolaan alur data skala besar. Alur ini mengalirkan data dari sumbernya melalui proses menyeluruh, mengubah data mentah menjadi informasi terstruktur berkualitas tinggi yang disimpan di gudang data atau data lake. Platform data adalah fondasi untuk operasi ini, menyediakan infrastruktur dan alat yang diperlukan bagi tim data untuk melakukan analitik data dan tugas-tugas ilmu data secara efisien.

Model dan skema data berperan penting, karena keduanya menentukan bagaimana data diatur, disimpan, dan dihubungkan di dalam gudang data atau danau data. Mereka memastikan data dapat ditemukan, diakses, dan dimanfaatkan oleh konsumen data—analis bisnis, ilmuwan data, dan pengembang aplikasi, untuk mendapatkan insight dan membangun aplikasi berdasarkan data. SQL (Structured Query Language) tetap menjadi alat penting untuk berinteraksi dengan data, memungkinkan pengguna melakukan kueri, memanipulasi, dan menganalisis kumpulan data sesuai kebutuhan mereka.

Tim data menggunakan metrik untuk menilai kualitas, kinerja, dan nilai produk data. Metrik ini memandu iterasi dan perbaikan berkelanjutan, memastikan produk data berkembang sesuai masukan pengguna dan perubahan kebutuhan bisnis.

API adalah saluran melalui mana produk data dikirimkan ke pengguna akhir dan aplikasi. Mereka mempermudah akses, memungkinkan konsumen data untuk mengintegrasikan dan memanfaatkan data dalam berbagai contoh penggunaan—mulai dari pelaporan operasional hingga proyek machine learning dan kecerdasan buatan (AI) tingkat lanjut. Kemampuan integrasi ini menyoroti pentingnya strategi API yang dirancang dengan baik dalam siklus hidup DaaP, memastikan data tidak hanya dapat diakses, tetapi juga dapat ditindaklanjuti.

Menerapkan machine learning dan AI dalam DaaP memungkinkan perusahaan mendapatkan insight prediktif dan mengotomatiskan proses pengambilan keputusan. Dengan menggunakan model machine learning yang dilatih dari data historis, bisnis dapat memprediksi tren masa depan, mengoptimalkan operasi, dan menyediakan pengalaman pelanggan yang lebih personal. Penggunaan data tingkat lanjut ini menyoroti sifat iteratif DaaP, di mana produk data terus diperbarui dan ditingkatkan berdasarkan data terbaru, contoh penggunaan baru, dan masukan dari konsumen data.

DaaP menekankan pentingnya mengelola siklus hidup data, mulai dari penciptaan, pemeliharaan, hingga perkembangan data seiring waktu. Proses ini mencakup beberapa tahapan, seperti perencanaan, pengembangan, penerapan, dan evaluasi, yang semuanya memerlukan kerja sama yang erat antara tim data, pemangku kepentingan bisnis, dan konsumen data. Pendekatan siklus hidup ini memastikan produk data tetap relevan, bernilai, dan selaras dengan tujuan bisnis.

Agar data lebih bermanfaat bagi organisasi, kumpulan data harus mudah ditemukan, dapat diandalkan, dan terintegrasi dengan baik dengan data lainnya. Inti dari menjadikan data DaaP mudah ditemukan dan dapat dialamatkan di dalam sebuah organisasi bergantung pada penerapan registri atau katalog terpusat. Registri ini harus mencantumkan semua data DaaP yang tersedia, lengkap dengan metadata seperti kepemilikan, sumber, dan asal-usulnya, sehingga memudahkan konsumen data, insinyur, dan ilmuwan untuk menemukan kumpulan data yang relevan secara efisien.

Dengan menetapkan tujuan tingkat layanan (SLO) yang relatif terhadap kebenaran data, dan menerapkan pembersihan data dan pengujian integritas yang ketat sejak awal, organisasi dapat meningkatkan kepercayaan pengguna terhadap data mereka. Selain itu, data harus mampu menjelaskan dirinya sendiri dan mematuhi standar global untuk interoperabilitas, sehingga memudahkan integrasi data di berbagai domain. Peran pemilik dan teknisi produk data sangat penting dalam ekosistem ini, karena mereka bertanggung jawab untuk mendefinisikan dan mengelola siklus hidup data DaaP, memastikan kepuasan pengguna dan pemenuhan standar kualitas. Pendekatan ini memerlukan kombinasi keterampilan data dan rekayasa perangkat lunak, sambil mendorong budaya inovasi, berbagi pengetahuan, dan kolaborasi lintas fungsi di seluruh lingkungan teknologi.

DaaP mendorong perusahaan untuk memperlakukan data sebagai produk berharga, dengan menerapkan prinsip-prinsip manajemen produk konsumen dalam pengelolaan, pemilihan, penyesuaian, dan penyampaian data. Pendekatan ini memastikan aliran data berkualitas tinggi yang lancar dari pembuat ke pengguna, didukung oleh alat dan pola pikir yang berfokus pada pelanggan. Bayangkan data seperti produk di rak toko; dalam metodologi DaaP, organisasi harus mengelola data mereka dengan cermat dan penuh perhatian, sama seperti memperlakukan produk fisik.

Artinya, hanya data yang benar-benar berguna yang dikumpulkan dan disimpan, disajikan secara jelas dan terorganisir, mudah diakses, serta relevan dengan konteks industri atau domain yang bersangkutan. Jika potongan-potongan ini terpenuhi, DaaP memungkinkan distribusi data berkualitas tinggi di seluruh organisasi. Oli telah diproses dan membantu menjalankan mesin.

Menerapkan pendekatan DaaP dalam organisasi berarti menyelaraskan pemangku kepentingan dan memberi mereka informasi yang relevan, sekaligus mendorong pola pikir bahwa data harus diperlakukan dan dikelola sebagai produk berkualitas tinggi, hal ini juga mencakup membangun atau berinvestasi dalam alat layanan mandiri, salah satu prinsip utama dari konsep data mesh—yang mendukung arsitektur data terdesentralisasi.

Mengadopsi DaaP menghadapi beberapa tantangan, seperti menjaga privasi data, mengatasi resistensi organisasi terhadap perubahan, dan meningkatkan literasi data di kalangan karyawan. Mengatasi tantangan ini memerlukan perencanaan strategis, dukungan dari seluruh organisasi, serta investasi dalam teknologi dan pengembangan bakat.

Mengelola dan mematuhi berbagai peraturan privasi data di pasar global, yang mencakup banyak wilayah dengan aturan yang berbeda-beda, merupakan tantangan utama yang harus diatasi. Organisasi memerlukan keahlian dan sumber daya yang memadai untuk memastikan produk DaaP mereka sesuai dengan peraturan ketat di setiap wilayah operasinya.

Pelanggaran data sering menjadi sorotan media, dan konsumen kini semakin sadar tentang bagaimana organisasi memanfaatkan data pribadi mereka. Membangun kepercayaan dengan pengguna memerlukan praktik penanganan data yang transparan dan dokumentasi yang jelas tentang bagaimana data digunakan dalam DaaP. Ini adalah kunci untuk mendapatkan kepercayaan dari basis pengguna. Setiap organisasi yang mempertimbangkan DaaP harus menerapkan langkah-langkah keamanan yang kuat untuk melindungi data dari pelanggaran dan akses tidak sah terhadap data. Solusi ini termasuk menerapkan enkripsi, kontrol akses, dan kerangka kerja tata kelola data.

Keberhasilan DaaP tidak hanya bergantung pada perangkat keras dan perangkat lunak yang tepat, tetapi juga pada kemampuan mengatasi resistensi terhadap perubahan. Budaya organisasi yang sudah mapan mungkin akan menghadapi resistensi terhadap perubahan yang dibawa oleh DaaP, terutama terkait kepemilikan, distribusi, dan aksesibilitas data. Strategi manajemen perubahan yang efektif dan komunikasi yang jelas sangat penting untuk memastikan bahwa setiap departemen bersedia dan mampu berbagi data tanpa khawatir kehilangan kendali atau keunggulan kompetitif. Mendorong kolaborasi dan menunjukkan manfaat DaaP kepada semua pemangku kepentingan sangatlah penting. Peran dan tanggung jawab yang jelas dalam tata kelola data serta kepemilikan produk juga perlu ditetapkan untuk menghindari kebingungan dan keterlambatan.

Tantangan manusia dari inisiatif DaaP yang sukses tidak berakhir di situ. Karena DaaP menuntut seluruh organisasi untuk fokus pada data, kesenjangan dapat muncul jika ada karyawan yang kurang paham atau belum terlatih dalam pengelolaan data. Karyawan di berbagai tingkatan mungkin belum sepenuhnya memahami aspek teknis dan nilai bisnis DaaP; program pelatihan dan pendidikan dapat membantu menjembatani kesenjangan tersebut. Banyak karyawan mungkin kesulitan menganalisis dan mengekstrak insight dari produk DaaP, namun dengan menyediakan alat yang mudah digunakan serta pelatihan literasi data mereka dapat diberdayakan. Selain itu, tim teknis perlu menerjemahkan insight data yang kompleks menjadi informasi yang dapat ditindaklanjuti dan mudah di pahami oleh pemangku kepentingan non-teknis.