Apa yang dimaksud dengan platform data?

Saat ini, banyak organisasi mengandalkan pipeline data yang kompleks untuk mendukung analisis data, ilmu data, dan pengambilan keputusan berbasis data. Platform data modern menyediakan berbagai alat yang membantu organisasi menjaga kualitas data sekaligus mengoptimalkan nilai yang dapat diperoleh dari data tersebut. 

Platform data memiliki kemampuan untuk menyajikan insight yang dapat langsung ditindaklanjuti, menghilangkan silo data, mendukung analitik layanan-mandiri, menyederhanakan otomatisasi, dan meningkatkan performa aplikasi berbasis kecerdasan buatan (AI).

Platform data, juga disebut sebagai "tumpukan data", terdiri dari lima lapisan dasar:  penyimpanan dan pemrosesan data, penyerapan data , transformasi data, intelijen bisnis (BI) dan analitik dan observabilitas data.

Platform data dapat dirancang dan dikustomisasi untuk memenuhi kebutuhan spesifik dari fungsi bisnis tertentu. Beberapa jenis platform data yang paling umum meliputi:

• Platform data Enterprise (EDP)
• Platform big data (BDP)
• Platform data cloud (CDP)
• Platform data pelanggan (CDP)

Platform data perusahaan awalnya dirancang sebagai pusat penyimpanan terpusat untuk memudahkan akses data di seluruh organisasi. Platform ini umumnya menyimpan data di lokasi fisik, seperti dalam basis data operasional atau gudang data. Platform ini sering digunakan untuk mengelola data terstruktur, seperti data pelanggan, keuangan, dan rantai pasokan.

Platform data modern memperluas fungsi platform data tradisional dengan memastikan data tetap akurat dan terkini, menghilangkan silo data, serta mendukung layanan-mandiri bagi pengguna. Platform data modern biasanya dibangun menggunakan rangkaian perangkat lunak berbasis cloud-native, yang menawarkan fleksibilitas lebih besar dan efisiensi biaya.

Dua prinsip dasar yang mengatur platform data perusahaan adalah:

• Ketersediaan: Data sudah tersedia di data lake, data warehouse, atau data lakehouse, yang memisahkan penyimpanan dan komputasi. Memisahkan fungsi-fungsi ini memungkinkan untuk menyimpan data dalam jumlah besar secara relatif murah.
  
  
• Elastisitas: Fungsi komputasi berbasis cloud, yang memungkinkan skalabilitas otomatis. Misalnya, jika sebagian besar data dan analitik digunakan pada hari dan waktu tertentu, pemrosesan dapat secara otomatis ditingkatkan untuk pengalaman pelanggan yang lebih baik dan dikurangi seiring dengan berkurangnya kebutuhan beban kerja.

Platform big data dirancang untuk mengumpulkan, memproses, dan menyimpan volume data yang besar, seringkali secara real time. Mengingat volume data yang sangat besar yang harus mereka kelola, platform big data biasanya memanfaatkan komputasi terdistribusi, di mana data diproses dan disimpan di berbagai server secara bersamaan.

Platform data lainnya mungkin mampu mengelola volume data yang besar, tetapi platform big data dirancang khusus untuk memproses data tersebut dengan efisiensi dan kecepatan tinggi. BDP kelas enterprise mampu menjalankan kueri kompleks pada kumpulan data berskala besar, termasuk data terstruktur, semi-terstruktur, maupun tidak terstruktur. BDP umumnya digunakan untuk berbagai keperluan, seperti analisis big data, deteksi penipuan, analisis prediktif, dan pengembangan sistem rekomendasi.

Platform big data sering disediakan dalam bentuk software-as-a-service (SaaS), baik sebagai bagian dari layanan data (DaaS) maupun sebagai rangkaian dalam ekosistem komputasi cloud.

Sesuai dengan namanya, fitur utama platform data cloud adalah operasinya yang sepenuhnya berbasis cloud, menawarkan berbagai manfaat, seperti:

• Platform data cloud sering tersedia berdasarkan basis bayar sesuai yang Anda penggunaan.
• Ruang penyimpanan yang fleksibel, dapat disesuaikan dengan kebutuhan untuk diperbesar atau dikurangi sesuai kebutuhan.
• Staf tidak diperlukan untuk memelihara platform perangkat keras lokal.
• Platform data cloud dapat digunakan untuk mengelola berbagai jenis data, termasuk big data, data perusahaan, maupun data pelanggan.
• Banyak Customer Data Platforms (CDP) menyediakan fitur tambahan, seperti analitik tingkat lanjut, machine learning (ML), dan alat visualisasi data.

Platform data pelanggan mengumpulkan dan mengintegrasikan data dari berbagai sumber untuk menciptakan tampilan yang menyeluruh, terpadu, dan lengkap tentang setiap pelanggan.  

CDP dapat menerima input data dari berbagai sumber, termasuk sistem manajemen hubungan pelanggan (CRM), aktivitas di media sosial, titik interaksi dengan organisasi, sistem transaksi, atau analitik situs web.

Tampilan pelanggan 360 derajat yang terpadu memberikan insight lebih mendalam tentang perilaku dan preferensi pelanggan, memungkinkan pemasaran yang lebih terarah, pengalaman pengguna yang lebih baik, dan membuka peluang pendapatan baru.

Platform data tersedia dalam berbagai bentuk dan ukuran, disesuaikan dengan kebutuhan masing-masing organisasi. Platform tipikal mencakup setidaknya lima lapisan ini:

1. Penyimpanan data
2. Konsumsi data
3. Transformasi data
4. Intelijen dan analitik bisnis
5. Observabilitas data

Lapisan pertama di banyak platform data adalah lapisan penyimpanan data. Jenis penyimpanan data yang dipilih bergantung pada kebutuhan organisasi dan dapat mencakup opsi penyimpanan berbasis on premises maupun penyimpanan cloud. Penyimpanan data umum meliputi:

Gudang data

Gudang data—atau gudang data perusahaan (EDW)—menggabungkan data dari sumber yang berbeda ke dalam satu penyimpanan data terpusat, konsisten untuk mendukung analisis data penambangan data, AI, dan machine learning. Gudang data paling sering digunakan untuk mengelola data terstruktur dengan contoh penggunaan analitik yang jelas.  

Data lake

Data lake adalah lingkungan penyimpanan berbiaya rendah, yang biasanya menampung petabyte data mentah. Data lake dapat menyimpan data terstruktur dan tidak terstruktur dalam berbagai format, sehingga peneliti dapat lebih mudah bekerja dengan berbagai macam data.

Data lake awalnya sering dibangun dalam ekosistem Hadoop, sebuah proyek sumber terbuka yang berbasis NoSQL. Mulai sekitar tahun 2015, banyak data lake mulai beralih ke cloud. Arsitektur data lake modern umumnya menggunakan platform penyimpanan objek, seperti Amazon S3 dari Amazon Web Services (AWS), serta memanfaatkan alat seperti Spark untuk pemrosesan data.

Data lakehouse

Data lakehouse menggabungkan kapabilitas gudang data dan danau data menjadi solusi manajemen data tunggal data management.

Meskipun data warehouse memberikan kinerja yang lebih unggul dibandingkan data lake, biayanya sering kali lebih tinggi dan skalabilitasnya lebih terbatas. Data lake menawarkan penyimpanan berbiaya rendah, tetapi kekurangan struktur yang diperlukan untuk mendukung analitik yang efektif.

Data lakehouse dirancang untuk mengatasi tantangan ini dengan menggunakan cloud object storage untuk menyimpan berbagai jenis data yang lebih luas—yaitu, data terstruktur, data tidak terstruktur, dan data semistruktur. Arsitektur data lakehouse menggabungkan penyimpanan ini dengan alat untuk mendukung upaya analitik tingkat lanjut, seperti kecerdasan bisnis dan machine learning.

Proses pengumpulan data dari berbagai sumber dan memindahkan data ke dalam sistem penyimpanan disebut penyerapan data. Setelah diproses, data dapat digunakan untuk pencatatan atau untuk analisis dan pemrosesan lebih lanjut.

Efektivitas infrastruktur data suatu organisasi sangat bergantung pada kualitas proses pencernaan dan integrasi data yang dilakukan. Jika terjadi masalah selama proses penyerapan, seperti data yang hilang atau usang, hal ini dapat mengganggu setiap langkah dalam alur kerja analitik di tahap berikutnya.

Proses penyerapan data dapat dilakukan menggunakan berbagai model pemrosesan, yang disesuaikan dengan kebutuhan organisasi dan keseluruhan arsitektur data yang digunakan.

• Pemrosesan batch adalah bentuk yang paling umum dari konsumsi data. Aplikasi ini tidak memproses data secara real-time, melainkan mengumpulkan data terlebih dahulu, mengelompokkannya ke dalam beberapa kategori, dan kemudian mengirimkannya ke penyimpanan. Pemrosesan batch dapat dimulai dengan menggunakan jadwal sederhana atau diaktifkan ketika kondisi tertentu yang telah ditentukan. Pemrosesan batch biasanya digunakan ketika data waktu nyata tidak diperlukan, karena membutuhkan lebih sedikit pekerjaan dan lebih murah daripada pemrosesan real time.
   
• Pemrosesan waktu nyata, juga dikenal sebagai streaming atau pemrosesan aliran, memproses data secara langsung tanpa mengelompokkannya terlebih dahulu. Sebaliknya, data diperoleh, diubah, dan dimuat saat dikenali. Pemrosesan real-time lebih mahal karena membutuhkan pemantauan sumber data yang konstan.

Lapisan ketiga, transformasi data, berhubungan dengan perubahan struktur dan format data agar dapat digunakan untuk analisis data dan proyek lainnya. Misalnya, data tidak terstruktur dapat dikonversi ke format SQL untuk membuatnya lebih mudah untuk mencari. Data dapat ditransformasikan sebelum atau setelah tiba di tujuan penyimpanan.

Hingga saat ini, sebagian besar model penyerapan data menggunakan prosedur ekstrak, transformasi, muat (ETL) untuk mengambil data dari sumbernya, memformat ulang, dan mengirimkannya ke tujuannya. Ini masuk akal ketika bisnis menggunakan sistem analitik internal. Pemrosesan waktu nyata lebih mahal karena memerlukan pemantauan terus-menerus terhadap sumber data. Organisasi yang masih menggunakan gudang data lokal biasanya akan menggunakan proses ETL.

Namun, banyak organisasi kini lebih memilih gudang data berbasis cloud, seperti IBM Db2 Warehouse, Microsoft Azure, Snowflake, atau Google Cloud BigQuery. Skalabilitas cloud memungkinkan organisasi menerapkan model ekstrak, muat, transformasi (ELT), yang mengabaikan transformasi sebelum pemuatan data, sehingga data mentah dapat dikirim langsung ke gudang data dengan lebih cepat. Data kemudian diubah sesuai kebutuhan setelah tiba, biasanya saat menjalankan kueri.

Lapisan keempat dari platform data mencakup alat intelijen bisnis (BI) dan analitik yang memungkinkan pengguna memanfaatkan data untuk analisis bisnis serta inisiatif big data. Sebagai contoh, alat BI dan analitik memungkinkan pengguna untuk menjalankan kueri data, mengubahnya menjadi visualisasi yang informatif, atau mengolahnya sesuai kebutuhan.

Bagi banyak departemen dalam sebuah organisasi, lapisan ini menjadi antarmuka utama dari platform data, di mana pengguna berinteraksi langsung dengan data.

Peneliti dan ilmuwan data dapat menganalisis data untuk menghasilkan insight dan informasi yang dapat ditindaklanjuti. Departemen pemasaran dapat memanfaatkan alat BI dan analitik untuk memahami pelanggan secara lebih mendalam dan mengidentifikasi peluang inisiatif yang bernilai. Tim rantai pasokan dapat menggunakan insight dari analisis data untuk mengoptimalkan proses operasional atau mengidentifikasi vendor terbaik.

Lapisan ini merupakan alasan utama mengapa organisasi mengumpulkan data sejak awal.

Observabilitas data adalah praktik yang melibatkan pemantauan, pengelolaan, dan pemeliharaan data untuk memastikan kualitas, ketersediaan, dan keandalannya secara optimal. Observabilitas data melibatkan berbagai aktivitas dan teknologi, seperti pelacakan, pencatatan, pemberian peringatan, serta deteksi anomali.

Ketika aktivitas-aktivitas ini digabungkan dan ditampilkan dalam dasbor, pengguna dapat dengan cepat mengidentifikasi dan menyelesaikan masalah data hampir secara real-time. Sebagai contoh, lapisan observabilitas memungkinkan tim rekayasa data menjawab pertanyaan spesifik mengenai apa yang terjadi di balik sistem terdistribusi. Lapisan ini dapat menunjukkan alur data dalam sistem, mengidentifikasi titik-titik di mana data bergerak lambat, serta mendeteksi kerusakan atau masalah yang terjadi.

Alat pemantauan dapat memberikan peringatan kepada manajer, tim data, dan pemangku kepentingan lainnya tentang potensi masalah, memungkinkan mereka untuk mengambil langkah proaktif dalam menyelesaikannya.

Selain lima lapisan dasar tersebut, lapisan lain yang umum dalam tumpukan data modern meliputi:

Penemuan data

Data yang tidak dapat diakses adalah data yang tidak berguna. Penemuan data membantu memastikan bahwa data tidak hanya hilang dari pandangan. Penemuan data secara khusus melibatkan pengumpulan, evaluasi, dan eksplorasi data dari berbagai sumber. Tujuannya adalah menyatukan data yang sebelumnya terisolasi atau tidak teridentifikasi untuk kemudian dianalisis.

Tata kelola data

Platform data modern biasanya menekankan tata kelola dan keamanan data untuk melindungi informasi sensitif, memastikan kepatuhan terhadap peraturan, mempermudah akses, serta menjaga kualitas data secara efektif. Alat-alat yang mendukung lapisan ini memiliki fitur kontrol akses, enkripsi, audit, dan pelacakan silsilah data.

Pengkatalogan data dan manajemen metadata

Katalog data memanfaatkan metadata—informasi yang mendeskripsikan atau merangkum data—untuk menyusun inventarisasi aset data organisasi secara terstruktur dan mudah dicari. Misalnya, katalog data dapat mempercepat dan mempermudah pencarian data tidak terstruktur, seperti dokumen, gambar, file audio, video, dan visualisasi data.

Machine learning dan AI

Beberapa platform data kelas enterprise mengintegrasikan teknologi machine learning dan AI untuk membantu pengguna mendapatkan insight berharga dari data. Misalnya, platform tersebut dapat menyertakan algoritme analisis prediktif, model machine learning untuk mendeteksi anomali, serta insight otomatis yang didukung oleh alat AI generatif.

Platform data yang andal memungkinkan organisasi memaksimalkan nilai dari data mereka dengan memberikan kontrol lebih besar kepada staf teknis serta akses layanan mandiri yang lebih cepat dan mudah bagi pengguna sehari-hari.

Platform data dapat membantu merobohkan silo data, salah satu hambatan terbesar untuk kegunaan data. Departemen yang terpisah—seperti SDM, produksi, dan rantai pasokan—sering menyimpan data mereka di lingkungan yang berbeda, dapat menyebabkan ketidakkonsistenan dan redundansi data. Mengintegrasikan data ke dalam satu platform menciptakan sumber kebenaran tunggal (SSoT) yang konsisten untuk seluruh organisasi.

Analisis dan keputusan bisnis dapat ditingkatkan dengan menghilangkan silo dan meningkatkan integrasi data. Dengan cara ini, platform data adalah komponen kunci dari struktur data yang kuat, yang membantu pengambil keputusan mendapatkan pandangan yang lebih kohesif tentang data organisasi. Pandangan kohesif ini dapat membantu organisasi menarik koneksi baru antara data dan memanfaatkan big data untuk penambangan data dan analisis prediktif.

Platform data juga memungkinkan organisasi untuk memahami proses data secara menyeluruh, dari awal hingga akhir, sekaligus mencari peluang untuk meningkatkan efisiensi. Platform data kelas enterprise dapat mempercepat akses ke informasi, meningkatkan efisiensi dalam pengambilan keputusan internal, dan memperkuat upaya yang berfokus pada pelanggan. 

Pada akhirnya, platform data yang dikelola dengan baik dapat menyediakan penyimpanan data yang beragam dan redundan, meningkatkan ketahanan organisasi terhadap serangan siber atau bencana alam.