Demokratisasi data: Cara arsitektur data dapat mendorong keputusan bisnis dan inisiatif AI

Pemerataan data, seperti istilah transformasi digital lima tahun lalu, telah menjadi kata kunci populer di seluruh organisasi, dari departemen TI hingga C-suite. Ini sering digambarkan sebagai cara untuk meningkatkan akses data, tetapi transisi memiliki arti jauh lebih luas. Ketika diterapkan secara efektif, pemerataan data menyederhanakan tumpukan data, menghilangkan penjaga gerbang data, dan membuat platform data komprehensif perusahaan mudah diakses oleh tim yang berbeda melalui dasbor yang ramah pengguna.

Di luar aspek teknis, tujuannya jauh lebih tinggi. Jika dilakukan dengan baik, pemerataan data memberdayakan karyawan dengan alat yang memungkinkan semua orang bekerja dengan data, bukan hanya ilmuwan data. Hal ini dapat memercikkan rasa ingin tahu karyawan dan memacu inovasi. Ketika para pekerja mendapatkan data yang tepat, hal ini tidak hanya memberikan apa yang mereka butuhkan untuk memecahkan masalah, namun juga mendorong mereka untuk bertanya, "Apa lagi yang dapat saya lakukan dengan data?" melalui organisasi yang benar-benar melek data.

Dalam artikel ini, kita akan menjelajahi manfaat pemerataan data dan bagaimana perusahaan dapat mengatasi tantangan transisi ke pendekatan baru terhadap data ini.

Pemerataan data membantu perusahaan membuat keputusan berbasis data dengan menciptakan sistem dan mengadopsi alat yang memungkinkan siapa pun di organisasi, terlepas dari latar belakang teknis mereka, untuk mengakses, menggunakan, dan berbicara tentang data yang mereka butuhkan dengan mudah. Alih-alih melihat data yang diberikan dengan persetujuan sebagai output dari pekerja, klien, dan prospek, kini data adalah pintu gerbang perusahaan untuk pengambilan keputusan strategis.

Untuk pemerataan data yang sesungguhnya, baik karyawan maupun konsumen perlu memiliki data dalam format yang mudah digunakan untuk memaksimalkan nilainya. Ini juga membutuhkan literasi data di seluruh organisasi. Karyawan dan pimpinan perlu mempercayai bahwa data tersebut akurat, mengetahui cara mengaksesnya, serta bagaimana data tersebut dapat diterapkan pada masalah bisnis. Pada gilirannya, keduanya juga harus memiliki keterampilan literasi data untuk dapat memverifikasi keakuratan data, memastikan keamanannya, dan memberikan atau mengikuti panduan tentang kapan dan bagaimana data harus digunakan.

Pemerataan data sering kali disamakan dengan transparansi data, yang mengacu pada proses yang membantu memastikan keakuratan data dan kemudahan akses ke data terlepas dari lokasi atau aplikasi yang membuatnya. Pemerataan data mengacu pada penyederhanaan semua proses yang berkaitan dengan data, mulai dari arsitektur penyimpanan, manajemen data, hingga keamanan data. Ini juga membutuhkan pendekatan tata kelola data di seluruh organisasi, mulai dari mengadopsi jenis pelatihan karyawan baru hingga membuat kebijakan baru untuk penyimpanan data.

Pemerataan data membutuhkan perpindahan dari arsitektur "data tidak aktif" tradisional, yang dimaksudkan untuk menyimpan data statis. Dahulu data dipandang sebagai informasi yang harus disimpan, hanya dipanggil saat berinteraksi dengan pelanggan atau menjalankan program. Saat ini, cara bisnis menggunakan data jauh lebih lancar; karyawan yang melek data menggunakan data di ratusan aplikasi, menganalisis data untuk pengambilan keputusan yang lebih baik, dan mengakses data dari berbagai lokasi.

Pemerataan data menggunakan arsitektur data yang sesuai dengan tujuan dan dirancang untuk mendukung cara bisnis modern beroperasi secara real-time. Ini didistribusikan baik di cloud maupun on premises, memungkinkan penggunaan dan pergerakan yang luas melintasi cloud, aplikasi, dan jaringan, serta penyimpanan data saat data tidak aktif. Arsitektur yang dirancang untuk pemerataan data bertujuan untuk menjadi arsitektur yang fleksibel, terintegrasi, tangkas, dan aman, untuk memungkinkan penggunaan data dan kecerdasan buatan (AI) dalam skala besar. Berikut adalah beberapa contoh jenis arsitektur yang cocok untuk pemerataan data.

Struktur data

Arsitektur struktur data dirancang untuk menghubungkan platform data dengan aplikasi tempat pengguna berinteraksi dengan informasi untuk akses data yang disederhanakan dalam organisasi dan konsumsi data layanan mandiri. Dengan memanfaatkan layanan data dan API, struktur data juga dapat menyatukan data dari sistem lama, danau data, gudang data, dan SQL database, sehingga memberikan gambaran holistik tentang kinerja bisnis.

Data dalam struktur data ditetapkan menggunakan metadata dan dapat disimpan di data lake, lingkungan penyimpanan berbiaya rendah yang menampung penyimpanan data terstruktur, semiterstruktur, dan tidak terstruktur dalam jumlah besar untuk analitik bisnis, machine learning, dan aplikasi luas lainnya.

Jaring data

Pendekatan lain untuk pemerataan data menggunakan jaring data, arsitektur terdesentralisasi yang mengatur data berdasarkan domain bisnis tertentu. Pendekatan ini menggunakan grafik pengetahuan, semantik, dan teknologi AI/ML untuk menemukan pola dalam berbagai jenis metadata. Kemudian, menerapkan insight ini untuk mengotomatiskan dan mengatur siklus hidup data. Alih-alih menangani operasi ekstrak, transformasi, dan muat (ETL) dalam data lake, jaring data mendefinisikan data sebagai produk dalam beberapa repositori, masing-masing diberi domain sendiri untuk mengelola saluran datanya.

Seperti arsitektur layanan mikro di mana layanan ringan digabungkan bersama, jaring data menggunakan domain fungsional untuk mengatur parameter di seputar data. Ini memungkinkan pengguna di seluruh organisasi memperlakukan data seperti produk dengan akses luas. Misalnya, tim pemasaran, penjualan, dan layanan pelanggan akan memiliki domain mereka sendiri, memberikan lebih banyak kepemilikan kepada produsen kumpulan data tertentu, namun tetap memungkinkan pembagian data ke tim yang berbeda.

Arsitektur struktur data dan jaring data tidak eksklusif satu sama lain; mereka bahkan dapat digunakan untuk saling melengkapi. Sebagai contoh, struktur data dapat membuat jaring data lebih kuat karena dapat mengotomatiskan proses utama, seperti membuat produk data dengan lebih cepat, menerapkan tata kelola global, dan lebih memudahkan pengaturan kombinasi beberapa produk data.

Baca lebih lanjut: Status data versus jaring data: Mana yang tepat untuk Anda?

Seiring dengan semakin banyaknya organisasi yang berusaha berkembang menuju budaya pemerataan data dan membangun arsitektur untuk mendukung budaya melek data, mereka akan menyadari beberapa manfaat—dan menghadapi beberapa tantangan di sepanjang proses ini. Berikut adalah beberapa keuntungan—dan potensi risiko—yang harus dipertimbangkan selama perubahan organisasi ini:

Produktivitas

Banyak perusahaan mempertimbangkan pemerataan data untuk menghilangkan silo dan mendapatkan lebih banyak data di seluruh departemen. Integrasi data yang diperlukan mengharuskan pengurangan kemacetan data, sehingga pengguna bisnis dapat membuat keputusan bisnis yang lebih cepat dan membebaskan pengguna teknis untuk memprioritaskan tugas yang memanfaatkan keahlian mereka dengan lebih baik. Hasilnya adalah efisiensi dan produktivitas yang lebih besar.

Keamanan

Keamanan data adalah prioritas tinggi. Pemerataan data pada dasarnya membantu perusahaan meningkatkan proses keamanan data yang membutuhkan perhatian terencana dan terus-menerus terhadap tata kelola data dan integritas data. Ada fokus yang bijaksana pada pengawasan dan mendapatkan data yang tepat di tangan orang yang tepat sehingga menghasilkan strategi keamanan data yang lebih komprehensif.

Risiko rawa data

Rawa data adalah akibat dari danau data yang dikelola dengan buruk yang tidak memiliki kualitas data yang tepat dan praktik tata kelola data untuk memberikan pembelajaran yang mendalam, membuat data tidak berguna. Terlalu banyak bisnis yang berjuang dengan kualitas data yang buruk; pemerataan data bertujuan untuk mengatasi masalah ini dengan pengawasan dan tata kelola data yang komprehensif. Mengenali data sebagai produk akan menciptakan motivasi yang lebih besar untuk mengelola data dengan benar.

Penggunaan data yang tangkas

Pemerataan data menangkal masalah gravitasi data, atau gagasan bahwa data menjadi lebih sulit dipindahkan seiring dengan ukurannya yang berkembang. Pendekatan pada hal seperti penyimpanan data pelanggan yang sangat besar dilakukan dengan lebih strategis, sehingga memungkinkan perusahaan untuk mempertahankan akses seiring peningkatan skala perusahaan.

Alat yang mudah digunakan

Pemerataan data berupaya membuat data lebih mudah diakses oleh pengguna nonteknis, sebagian dengan membuat alat untuk mengakses data lebih mudah digunakan. Ini termasuk alat yang penggunaannya tidak memerlukan keterampilan teknis tingkat lanjut atau pemahaman mendalam tentang analitik data.

Seperti halnya perubahan besar dalam operasi bisnis, perusahaan harus mengembangkan strategi data yang komprehensif untuk mencapai tujuan pemerataan data mereka. Langkah-langkah utama meliputi:

• Menentukan tujuan bisnis dan data–Apa tujuan perusahaan Anda? Apa tujuan data dan AI Anda? Penyelarasan data dan tujuan bisnis sangat penting untuk pemerataan data. Dengan memanfaatkan keahlian pemangku kepentingan, Anda dapat memastikan bahwa tujuan Anda inklusif dan realistis.
• Melakukan audit data—Bagaimana data dikelola hari ini? Periksa apa yang berhasil, apa yang tidak, dan kenali hambatan dan area di mana alat yang lebih baik dan peningkatan akses diperlukan. Memahami status manajemen data Anda saat ini akan membantu Anda memahami perubahan apa yang perlu dilakukan oleh organisasi.
• Memetakan kerangka kerja data–Ketika Anda mencapai pemerataan data menyeluruh, seperti apa bentuknya? Rancanglah jalur menuju tujuan tersebut, tentukan di mana modernisasi aplikasi, analisis data, otomatisasi, dan AI dapat membantu Anda mencapai tujuan tersebut.
• Menetapkan kontrol–Di sinilah Anda bersandar pada sekutu data untuk membantu kepatuhan di seluruh organisasi. Bagaimana standar dan proses data dikomunikasikan dan diterapkan? Gunakan langkah ini untuk membuat dan menerapkan kebijakan tata kelola data.
• Integrasikan data Anda–Merupakan hal lazim bagi organisasi untuk mengalami kurangnya visibilitas antara departemen. Menerapkan pemerataan data berarti memecah silo ini dan merancang cara untuk mengintegrasikan proses secara efektif dengan cara yang mendorong adopsi.
• Melatih dan memberdayakan karyawan— Implementasi pemerataan data yang sukses mengharuskan karyawan memiliki tingkat literasi data yang tepat untuk mengakses dan menggunakan data secara efektif. Berkaca pada pemimpin data untuk mendorong adopsi dan menjadikan literasi data sebagai bagian dari proses perekrutan baru. Latih karyawan tentang bagaimana pemerataan data dapat meningkatkan hasil kerja mereka dan meningkatkan pengalaman pelanggan.

Setelah perjalanan pemerataan data Anda dimulai, tim dapat mulai melihat apa yang dapat dihadirkan paradigma data baru ini, termasuk memajukan alat baru seperti AI dan machine learning. Berikut adalah beberapa cara penggunaan pemerataan data oleh perusahaan untuk memungkinkan implementasi AI yang lebih luas:

Tetapkan contoh penggunaan AI

Diskusikan prioritas analitik bisnis dan otomatisasi dan putuskan di mana AI akan diterapkan terlebih dahulu. Misalnya, Anda mungkin ingin berinvestasi dalam alat analitik untuk mengembangkan laporan intelijen bisnis internal, chatbot layanan pelanggan real-time, dan analitik layanan mandiri untuk tim bisnis berbeda. Kemungkinan Anda tidak dapat mengelola penerapan alat AI ini sekaligus, jadi tentukan area terbaik di mana Anda akan menggunakan AI terlebih dahulu.

Mengidentifikasi kumpulan data

Tidak semua data dalam perusahaan Anda tepat untuk AI, atau contoh penggunaan dalam hal ini. Periksa kumpulan data Anda dan tentukan mana yang tepat untuk riset lebih lanjut untuk melihat apakah data tersebut akan membantu Anda menangani contoh penggunaan yang relevan. Dengan pemerataan data, perusahaan Anda harus memiliki insight yang lebih besar tentang kualitas dan ketersediaan data untuk mendorong proses ini, dan ROI untuk setiap contoh penggunaan.

Gunakan MLOps untuk skalabilitas

Pengembangan model machine learning (ML) terkenal rawan kesalahan dan memakan waktu. MLOps membuat proses untuk lebih memudahkan pengambilan insight dari data bisnis. Praktik ini juga mengoptimalkan proses dengan operasi machine learning (MLOPS) yang menggunakan model ML bawaan yang dirancang untuk mengotomatiskan proses pembuatan model ML.

Jadikan AI transparan

Pemerataan data memastikan pengumpulan data, pembuatan model, penerapan, pengelolaan, dan pemantauan terlihat. Hal ini akan menghasilkan produk berbasis AI yang lebih dapat dipasarkan dan akuntabilitas yang lebih besar.

Ada dua elemen kunci untuk pemerataan data: dimulai dengan arsitektur data yang tepat, tetapi diperkuat oleh otomatisasi dan solusi AI yang tepat. IBM menawarkan pendekatan modern untuk merancang dan menerapkan arsitektur struktur data yang membantu organisasi merasakan manfaat dari struktur data di platform terpadu yang membuat semua data — yang tersebar di lingkungan hybrid dan multicloud — tersedia untuk AI dan analitik data.

watsonx adalah portofolio produk AI kami yang mempercepat dampak AI generatif dalam alur kerja inti untuk mendorong produktivitas. Portofolio ini terdiri dari tiga komponen yang tangguh: studio watsonx.ai untuk model dasar baru, AI generatif, dan machine learning; penyimpanan watsonx.data yang sesuai kebutuhan untuk mendapatkan fleksibilitas data lake dan kinerja gudang data; ditambah toolkit watsonx.governance untuk memungkinkan alur kerja AI yang dibangun dengan tanggung jawab, transparansi, dan dapat dijelaskan.

Bersama-sama, watsonx menawarkan organisasi kemampuan untuk:

1. Latih, setel, dan terapkan AI di seluruh bisnis Anda dengan watsonx.ai
2. Tingkatkan beban kerja AI untuk semua data Anda, di mana saja, dengan watsonx.data.
3. Terapkan alur kerja data dan AI yang bertanggung jawab, transparan, dan dapat dijelaskan dengan watsonx.governance