Apa itu data gelap?

Sebagian besar perusahaan saat ini menyimpan data gelap dalam jumlah besar. Dalam riset global Splunk terhadap lebih dari 1.300 pengambil keputusan bisnis dan TI, 60% responden melaporkan bahwa setengah atau lebih dari data organisasi mereka dianggap gelap. Sepertiga responden melaporkan jumlah ini 75% atau lebih.¹

Data gelap terakumulasi karena organisasi telah menganut gagasan bahwa menyimpan semua informasi yang dapat mereka tangkap di dalam data lake besar. Hal ini sebagian disebabkan oleh munculnya penyimpanan yang murah, yang mempermudah justifikasi untuk menyimpan begitu banyak data—dengan asumsi data tersebut mungkin akan bernilai di kemudian hari.

Pada akhirnya, sebagian besar perusahaan bahkan tidak pernah menggunakan sebagian kecil dari data yang mereka simpan karena repositori penyimpanan tersebut tidak mendokumentasikan label metadata dengan baik, sebagian data berada dalam format yang tidak dapat dibaca oleh tools terintegrasi, atau data tersebut tidak dapat diambil melalui kueri.

Data gelap merupakan faktor penghalang utama dalam menghasilkan analisis data yang baik karena kualitas analisis data apa pun bergantung pada informasi yang dapat diakses oleh alat analitik, baik secara cepat maupun secara detail.

Masalah lain dari data gelap adalah bahwa hal ini menciptakan kewajiban, biaya penyimpanan yang signifikan, dan peluang yang terlewatkan karena tim tidak menyadari data apa saja yang berpotensi tersedia bagi mereka.

Ada banyak penyebab data organisasi menjadi gelap, termasuk:

• Kurangnya kesadaran: Data yang diperoleh selama operasi bisnis normal sering menjadi gelap karena organisasi tidak menyadari keberadaannya, atau tidak memahami nilai atau relevansinya.
  
  
• Data terjebak dalam silo: Ketika departemen yang berbeda dalam sebuah organisasi mengumpulkan dan menyimpan data secara independen, hal ini dapat menyebabkan fragmentasi dan isolasi data. Silo data ini mungkin tidak dapat diakses atau dilihat oleh tim lain, yang berpotensi menemukan data yang berharga.
  
  
• Kurangnya tata kelola data: Tanpa adanya kerangka kerja tata kelola data yang solid, organisasi mungkin akan kesulitan untuk mengelola dan melacak data di seluruh ekosistem mereka secara efektif. Hal ini menyebabkan data menjadi tidak teratur, hilang, dan tidak dapat digunakan.
  
  
• Sistem lama: Saat organisasi meningkatkan perangkat lunak dan perangkat keras mereka, sistem lama mungkin akan dihentikan atau menjadi kurang relevan. Data yang disimpan dalam sistem lama ini akan menjadi gelap jika tidak dapat diintegrasikan dengan alat analitik modern organisasi.
  
  
• Integrasi data yang tidak lengkap: Proses integrasi data yang tidak lengkap atau tidak efektif dapat menyebabkan kesenjangan dan inkonsistensi data. Hal ini dapat menyebabkan kumpulan data tertentu tidak dapat diakses atau tidak terhubung dengan baik ke sumber data lainnya.
  
  
• Prioritas bisnis yang berubah: Seiring dengan perubahan prioritas bisnis, kumpulan data tertentu mungkin menjadi kurang relevan atau tidak lagi menjadi fokus. Data yang dulunya digunakan secara aktif mungkin tidak digunakan lagi seiring dengan perubahan tujuan organisasi.
  
  
• Sumber daya dan literasi yang terbatas: Organisasi dengan sumber daya terbatas mungkin memprioritaskan pengumpulan dan penyimpanan data daripada analisis data. Selain itu,literasi data yang tidak memadai di antara karyawan dapat menghambat penemuan dan pemanfaatan data yang berharga.
  
  
• Masalah kualitas data: Kualitas data yang buruk, seperti data yang tidak akurat atau tidak lengkap, dapat menyebabkan data diabaikan atau diabaikan. Data yang dianggap tidak dapat diandalkan cenderung tidak digunakan, secara efektif membuatnya gelap.
  
  
• Tujuan kepatuhan regulasi: Banyak standar kepatuhan dan tata kelola mewajibkan organisasi mengikuti aturan ketat terkait lamanya penyimpanan data sensitif. Mereka sering kali akhirnya menyimpan data tersebut jauh melewati periode wajib karena gagal melacak data sensitif mana yang seharusnya dimusnahkan.
  
  
• Data yang redundan, usang, dan trivial (ROT): ROT tercipta ketika karyawan menyimpan banyak salinan dari informasi yang sama, informasi yang sudah ketinggalan zaman, dan informasi asing yang tidak membantu organisasi mencapai tujuannya.

Dalam hal kemampuannya untuk ditemukan untuk inisiatif analitik data yang tepat waktu dan lengkap, data gelap dapat berupa data terstruktur, data tidak terstruktur, atau data semi-terstruktur.

Data terstruktur adalah informasi yang ditambahkan ke bidang spreadsheet atau basis data yang didefinisikan dengan jelas sebelum disimpan.

File log server, data sensorInternet of Things (IoT) , basis data manajemen hubungan pelanggan (CRM), dan sistem perencanaan sumber daya perusahaan (ERP) adalah contoh data gelap yang tercipta dari sumber data terstruktur.

Meskipun sebagian besar bentuk data sensitif—seperti laporan bank elektronik, catatan medis, dan data pelanggan terenkripsi—biasanya dalam bentuk terstruktur, sulit untuk dilihat dan dikategorikan karena masalah izin.

Tidak seperti data terstruktur, data tidak terstruktur mencakup informasi yang tidak dapat diatur dalam basis data atau spreadsheet untuk analisis tanpa konversi, kodifikasi, pemeringkatan, dan penataan.

Korespondensi email, PDF, dokumen teks, postingan media sosial, rekaman pusat panggilan, log obrolan, dan rekaman video pengawasan adalah contoh data gelap yang dibuat dari sumber data tidak terstruktur.

Data semi-terstruktur adalah data tidak terstruktur yang berisi beberapa informasi dalam bidang data yang ditentukan. Meskipun tidak memiliki kemudahan penemuan data gelap yang sama dengan data terstruktur, data ini dapat dicari atau dikatalogkan.

Contohnya termasuk kode HTML, faktur, grafik, tabel dan dokumen XML.

Biaya penyimpanan data gelap bisa sangat besar dan melampaui biaya finansial langsung dari penyimpanan data gelap. Biaya langsung dan tidak langsung meliputi:

Terkadang data gelap tercipta karena masalah kualitas data.

Sebagai contoh, transkrip dari rekaman audio dibuat secara otomatis, tetapi AI yang menghasilkan transkrip membuat beberapa kesalahan dalam transkripsi. Seseorang tetap menyimpan transkrip tersebut dengan berpikir bahwa masalah itu akan diselesaikan suatu saat nanti, tetapi kenyataannya tidak pernah terjadi.

Ketika organisasi mencoba membersihkan data berkualitas buruk, terkadang mereka tidak menyadari penyebab utama masalah tersebut. Tanpa pemahaman yang memadai, sulit untuk memastikan masalah kualitas data tidak akan kembali muncul di kemudian hari.

Situasi ini kemudian menjadi siklus, karena alih-alih menerapkan kebijakan penghapusan untuk data gelap yang tidak pernah digunakan, organisasi membiarkan data tersebut terus berada di sana dan berkontribusi pada masalah kualitas data yang terus berkembang.

Untungnya, ada tiga langkah untuk manajemen kualitas data yang dapat diambil organisasi untuk membantu mengatasi masalah ini:

1. Menganalisis dan mengidentifikasi situasi “apa adanya“: Untuk memprioritaskan masalah, pertama-tama kenali semua masalah yang ada saat ini, standar data yang ada, dan dampak bisnis.
   
   
2. Mencegah data buruk muncul kembali: Selanjutnya, evaluasi akar penyebab setiap masalah dan terapkan sumber daya untuk mengatasi masalah secara berkelanjutan sehingga tidak akan terjadi lagi.
   
   
3. Sering-seringlah berkomunikasi di sepanjang jalan: Bagikan apa yang sedang terjadi, apa yang sedang dilakukan tim, dampak dari pekerjaan tersebut, dan bagaimana upaya tersebut terhubung dengan tujuan bisnis.

Terlepas dari semua masalah biaya dan kualitas data dari data gelap, ada sisi positifnya. Seperti yang dikatakan Splunk, “data gelap mungkin merupakan salah satu sumber daya terbesar organisasi yang belum dimanfaatkan.”²

Dengan mengambil pendekatan proaktif dalam mengelola data gelap, organisasi dapat menyinari data gelap. Hal ini tidak hanya mengurangi tanggung jawab dan biaya, tetapi juga memberi tim sumber daya yang mereka butuhkan untuk menemukan insight dari data tersembunyi.

Saat menangani data gelap dan berpotensi menggunakannya untuk mengambil keputusan berbasis data yang lebih baik, ada beberapa praktik terbaik yang perlu diikuti:

Data gelap sering muncul karena silo dalam organisasi. Sebuah tim membuat data yang bisa jadi berguna bagi yang lain, tetapi tim lain tidak mengetahuinya. Data tersebut dapat tersedia untuk tim yang membutuhkannya jika silo ini dipecahkan. Data yang tadinya tidak dimanfaatkan ini kini dapat memberikan nilai yang sangat besar.

Penting untuk memahami data apa yang ada dalam organisasi. Upaya ini dimulai dengan mengklasifikasikan semua data dalam organisasi untuk mendapatkan tampilan yang lengkap dan akurat. Dari situ, tim dapat mulai mengatur data mereka dengan lebih baik dengan tujuan memudahkan individu di seluruh tim untuk menemukan dan menggunakan apa yang mereka butuhkan.

Memperkenalkan kebijakan tata kelola data dapat membantu meningkatkan tantangan jangka panjang. Kebijakan ini harus mencakup bagaimana semua data yang masuk ditinjau dan memberikan panduan yang jelas tentang apa yang harus disimpan (dan diorganisasikan guna menjaga manajemen data yang jelas), diarsipkan, atau dimusnahkan. Bagian penting dari kebijakan ini adalah bersikap ketat tentang data apa yang harus dihancurkan dan waktunya. Menerapkan tata kelola data dan meninjau praktik-praktiknya secara teratur dapat membantu meminimalkan jumlah data gelap yang tidak akan digunakan.

Untuk membantu menemukan data gelap, machine learning (ML) dan kecerdasan buatan (AI) dapat melakukan tugas berat dalam mengategorikan data gelap dengan melakukan analisis pada data yang mungkin mengandung insight berharga. Selain itu,otomatisasi ML dapat membantu peraturan kepatuhan privasi data dengan secara otomatis menyunting informasi sensitif dari data yang disimpan.