Strategi arsitektur data untuk kualitas data

Organisasi yang ingin memaksimalkan penggunaan data sering kali terhambat oleh masalah kualitas data yang buruk. Keputusan bisnis yang tidak tepat waktu, proses bisnis yang keliru, peluang pendapatan yang terlewat, inisiatif bisnis yang gagal, dan sistem data yang kompleks, semuanya dapat berakar dari masalah kualitas data. Hanya satu saja dari masalah ini sudah dapat menimbulkan biaya besar bagi sebuah organisasi. Menghadapi keseluruhan masalah itu dalam waktu yang sama bisa berdampak sangat fatal.

Beberapa faktor menentukan kualitas data perusahaan Anda seperti akurasi, kelengkapan, konsistensi, untuk menyebutkan beberapa. Tetapi ada faktor lain dari kualitas data yang tidak mendapatkan pengakuan yang layak: arsitektur data Anda.

Arsitektur data yang tepat dapat membantu organisasi Anda meningkatkan kualitas data karena menyediakan kerangka kerja yang menentukan bagaimana data dikumpulkan, diangkut, disimpan, diamankan, digunakan, dan dibagikan untuk contoh penggunaan intelijen bisnis dan ilmu data.

Arsitektur data generasi awal, seperti enterprise data warehouse dan platform BI, bergantung pada ribuan proses ETL, tabel, dan laporan yang hanya dapat dipahami oleh sedikit data engineer berkeahlian khusus. Akibatnya, manfaat bisnis yang seharusnya muncul tidak terealisasi sepenuhnya. Pada banyak organisasi, platform big data generasi baru dan job batch yang berjalan lama yang ditangani oleh tim data engineer terpusat akhirnya berkembang menjadi data lake yang tidak teratur dan sulit dikelola.

Kedua pendekatan biasanya merupakan arsitektur monolitik dan terpusat yang diatur di sekitar fungsi mekanis penyerapan data, pemrosesan, pembersihan, agregasi, dan penyajian. Ini menciptakan sejumlah hambatan organisasi dan teknologi yang melarang Integrasi dan skala data di sepanjang beberapa dimensi: perubahan lingkungan data yang konstan, proliferasi sumber data dan konsumen data, keberagaman transformasi dan pemrosesan data yang diperlukan oleh contoh penggunaan, dan kecepatan respons terhadap perubahan.

Arsitektur data modern seperti Jaring Data dan Struktur Data bertujuan untuk dengan mudah menghubungkan sumber data baru dan mempercepat pengembangan pipeline data khusus contoh penggunaan lokal, hybrid, dan multicloud. Dikombinasikan dengan manajemen siklus hidup data efektif, yang berevolusi menjadi data sebagai manajemen produk, arsitektur data modern dapat memungkinkan organisasi Anda untuk melakukannya:

• Memungkinkan penjaga data untuk memastikan kepatuhan, perlindungan, dan keamanan data
• Meningkatkan kepercayaan pada data dengan mendapatkan visibilitas dari mana data berasal, bagaimana data telah berubah, dan siapa yang menggunakannya
• Memantau dan mengidentifikasi masalah kualitas data lebih dekat ke sumber untuk mengurangi dampak potensial pada proses hilir atau beban kerja
• Secara efisien mengadopsi platform data dan teknologi baru untuk manajemen data yang efektif
• Terapkan metadata untuk mengontekstualisasikan data yang ada dan baru agar dapat dicari dan ditemukan
• Melakukan profil data (proses memeriksa, menganalisis, dan membuat ringkasan kumpulan data)
• Mengurangi duplikasi dan fragmentasi data

Karena arsitektur data menentukan bagaimana aset data dan sumber daya manajemen data Anda disusun, arsitektur ini memainkan peran penting dalam seberapa efektif organisasi Anda dalam melakukan tugas-tugas ini. Artinya, arsitektur data adalah elemen dasar dari strategi bisnis Anda untuk kualitas data yang lebih tinggi. Kemampuan penting dari solusi manajemen kualitas data modern berkualitas tinggi mengharuskan organisasi untuk:

• Menerapkan tata kelola data di seluruh organisasi dengan menambah proses kualitas data manual dengan metadata dan teknologi terkait AI (tautan berada di luar ibm.com)
  
• Melakukan pemantauan kualitas data berdasarkan aturan pra-konfigurasi
• Membangun garis keturunan pemodelan data untuk melakukan analisis akar penyebab masalah kualitas data
• Membuat nilai kumpulan data dapat segera dipahami
• Praktikkan kebersihan data yang tepat di seluruh antarmuka

Strategi data dapat membantu arsitek data membuat dan mengimplementasikan arsitektur data yang meningkatkan kualitas data. Langkah-langkah untuk mengembangkan strategi data yang efektif meliputi:

Misalnya, lembaga keuangan mungkin ingin meningkatkan kepatuhan terhadap peraturan, menurunkan biaya, dan meningkatkan pendapatan. Para pemangku kepentingan dapat mengidentifikasi contoh penggunaan bisnis untuk jenis data tertentu, seperti menjalankan analisis data pada data real-time saat dicerna untuk mengotomatiskan pengambilan keputusan guna mendorong pengurangan biaya.

Langkah ini termasuk mengidentifikasi dan membuat katalog semua data di seluruh organisasi ke dalam daftar inventaris terpusat atau federasi, sehingga menghapus silo data. Daftar tersebut harus memerinci di mana setiap kumpulan data berada dan aplikasi serta contoh penggunaan apa yang bergantung padanya. Selanjutnya, pilih data yang diperlukan untuk contoh penggunaan Anda dan prioritaskan domain data yang menyertakannya.

Konvensi penamaan dan format data selaras (kelas data) untuk data yang digunakan di seluruh organisasi membantu memastikan konsistensi data dan interoperabilitas di seluruh departemen (domain) dan contoh penggunaan.

Tentukan perubahan yang akan mengoptimalkan data Anda untuk mencapai tujuan bisnis Anda. Meneliti berbagai jenis arsitektur data modern, seperti struktur data fabric dan data mesh dapat membantu Anda memutuskan struktur data yang paling sesuai dengan kebutuhan bisnis Anda.

Buat KPI dan gunakan analitik lanjutan yang menghubungkan ukuran keberhasilan arsitektur Anda dengan seberapa baik ia mendukung kualitas data.

Perusahaan dapat mengembangkan rencana peluncuran untuk menerapkan arsitektur dan tata kelola data dalam tiga hingga empat domain data per kuartal.

Arsitektur data yang dirancang dengan baik menciptakan fondasi untuk kualitas data melalui transparansi dan standardisasi yang membingkai bagaimana organisasi Anda melihat, menggunakan, dan berbicara tentang data.

Seperti disebutkan sebelumnya, data fabric adalah salah satu arsitektur tersebut. Data fabric mengotomatiskan penemuan data, tata kelola, dan manajemen kualitas data serta menyederhanakan layanan mandiri data ke data yang didistribusikan di lingkungan cloud hybrid. Ini dapat mencakup aplikasi yang menghasilkan dan menggunakan data, serta sejumlah repositori penyimpanan data seperti data warehouse, data lake (yang menyimpan sejumlah besar big data), database NoSQL (yang menyimpan data tidak terstruktur) dan database relasional yang menggunakan SQL.

Pelajari lebih lanjut manfaat data fabric dan IBM® Cloud Pak for Data.