Apa itu pengayaan data?

Pengayaan data adalah teknik untuk meningkatkan kualitas data dan kegunaan data dengan melengkapi kumpulan data menggunakan informasi tambahan dari sumber internal maupun eksternal.

Organisasi mengumpulkan lebih banyak data dibandingkan sebelumnya, tetapi sering kali data tersebut tidak memiliki konteks atau makna yang memadai. Pengayaan data membantu mengisi kesenjangan tersebut dan meningkatkan pemahaman terhadap titik data yang ada, baik dalam bentuk data mentah maupun kumpulan data terstruktur. Penambahan data dengan cara ini dapat mengubah kumpulan data yang sebelumnya sulit dipahami menjadi sumber insight yang bernilai, sehingga memberdayakan organisasi untuk membuat keputusan yang lebih tepat.

Praktik pengayaan data sering kali menjadi bagian dari manajemen data dan manajemen master data perusahaan. Terdapat beberapa jenis pengayaan data yang diterapkan organisasi, tergantung pada kebutuhan bisnis dan sumber data yang dimiliki, seperti pengayaan demografis, firmografis, dan geografis. Meskipun tim data dapat melakukan pengayaan data secara manual, kecerdasan buatan (AI) dan otomatisasi membantu mengoptimalkan proses pengayaan data.

Contoh penggunaan umum pengayaan data banyak ditemukan dalam strategi pemasaran, tetapi proses pengayaan data juga berperan di bidang seperti keamanan siber, layanan kesehatan, dan perencanaan kota. Pengayaan data juga semakin terbukti bernilai dalam meningkatkan kinerja model machine learning, karena menyediakan konteks dan data yang lebih lengkap untuk menghasilkan prediksi yang lebih akurat.

Bayangkan sebuah kanvas yang baru dicat sebagian: bagian bawahnya dipenuhi sapuan kuas biru yang merepresentasikan lautan, sementara beberapa bercak keemasan tampak mengambang di tengahnya. Namun, ketika lukisan itu selesai, menjadi jelas bahwa bercak-bercak tersebut adalah pantulan cahaya—sebuah lukisan utuh yang menggambarkan matahari terbenam di atas permukaan air.

Sementara kanvas yang belum selesai dapat menjadi karya seni itu sendiri, kanvas itu juga memiliki potensi untuk menjadi sesuatu yang lebih. Hal yang sama berlaku dengan kumpulan data yang ditingkatkan melalui pengayaan data.

Misalnya, ketika tabel data pelanggan yang awalnya hanya berisi nama dan nomor telepon diperkaya dengan alamat email, tabel tersebut menjadi alat yang lebih kuat untuk kegiatan penjangkauan. Demikian pula, ketika kumpulan data alamat jalan diperkaya dengan koordinat geografis, kumpulan data tersebut dapat memberikan insight yang lebih mendalam mengenai penggunaan lahan di suatu lingkungan.

Ketika bisnis terus menghasilkan dan mengumpulkan sejumlah besar data mentah dan tidak terstruktur, pengayaan data menjadi semakin mendesak. Semakin banyak data mentah dan tidak terstruktur berarti semakin banyak pula kesenjangan serta konteks yang hilang dalam kumpulan data. Namun, melalui pengayaan data, organisasi dapat mengorelasikan data tersebut dengan titik data lain yang memberikan makna lebih besar, sehingga mendorong pengembalian investasi yang lebih tinggi atas aset data mereka.

Pengayaan data menghasilkan berbagai manfaat, termasuk:

• Akurasi data yang lebih tinggi: Pengayaan data dapat mengisi celah dalam data yang ada, seperti alamat surat yang tidak lengkap atau gelar profesional yang hilang.

• Kepercayaan yang lebih besar: Melihat berbagai dimensi data yang berbeda—seperti kumpulan data nama bisnis yang diperkaya dengan kode klasifikasi industri—dapat memberikan keyakinan kepada pengguna bahwa mereka mengakses titik data yang tepat sesuai kebutuhan mereka.

• Kinerja AI yang lebih baik: Kecerdasan buatan, termasuk machine learning dan model AI generatif, bekerja paling optimal ketika didukung oleh data yang lengkap dan berkualitas tinggi.

• Insight untuk pengambilan keputusan: Kumpulan data yang komprehensif, yang diperoleh melalui pengayaan data, dapat membantu bisnis menemukan pola dan peluang baru terkait permintaan pasar, penetapan harga, dan berbagai aspek lainnya. Misalnya, insight pelanggan dapat digunakan untuk mendukung upaya pemasaran yang lebih terarah berdasarkan preferensi pelanggan.

• Dukungan kepatuhan: Pengayaan data, khususnya pengayaan metadata, dapat mempermudah pelacakan informasi sensitif yang tunduk pada regulasi dan undang-undang privasi data, seperti Peraturan Perlindungan Data Umum (GDPR).

Istilah “pengayaan data” dan “peningkatan data” sering digunakan secara bergantian, padahal keduanya merupakan proses yang berbeda. Meskipun sama-sama dapat meningkatkan kualitas data, peningkatan data lebih berfokus pada pengolahan data yang sudah ada, sedangkan pengayaan data berpusat pada penambahan titik data baru ke dalam kumpulan data.

Dalam peningkatan data, pembersihan dan pembaruan data merupakan fungsi inti. Penambahan sejumlah data baru mungkin diperlukan untuk mengatasi missing values dalam kolom atau memperbarui informasi yang sudah usang, tetapi jumlah data baru yang ditambahkan tidak sebesar skala yang biasanya dilakukan dalam pengayaan data.

Melalui pengayaan data, bidang baru sering ditambahkan ke kumpulan data yang sudah ada. Seperti halnya peningkatan data, pembersihan data juga menjadi bagian dari proses ini, tetapi dilakukan sebagai persiapan untuk penambahan informasi baru. (Lihat “Langkah-langkah utama untuk pengayaan data” di bawah ini.)

Organisasi biasanya menggunakan satu atau lebih jenis pengayaan data berikut untuk menambahkan informasi ke kumpulan data yang ada:

• Pengayaan data perilaku: Data mengenai perilaku pelanggan dan interaksi mereka dengan produk, layanan, serta berbagai saluran komunikasi, termasuk aplikasi mobile dan akun media sosial.

• Pengayaan data kontak: Informasi untuk memperkaya daftar kontak, termasuk nomor telepon, alamat email, afiliasi bisnis, dan profil media sosial.

• Pengayaan demografis: Karakteristik seperti usia, jenis kelamin, etnis, status pernikahan, dan pendapatan. Jenis pengayaan ini juga dikenal sebagai pengayaan sosiodemografis.

• Pengayaan firmografi: Rincian tentang perusahaan, seperti industri, ukuran, pendapatan, dan lokasi.

• Pengayaan geografis: Informasi tentang lokasi entitas, seperti alamat jalan, kode pos, negara dan koordinat geografis.

• Pengayaan psikografis: Data tentang gaya hidup, minat, sikap, dan keyakinan seseorang.

• Pengayaan teknografis: Data tentang jenis teknologi yang digunakan oleh individu atau organisasi, termasuk aplikasi, alat, perangkat keras, perangkat lunak, dan infrastruktur TI.

Proses pengayaan data dapat bervariasi menurut organisasi, tetapi ada beberapa langkah umum:

Organisasi dapat melakukan pengayaan data menggunakan data internal mereka, termasuk data pihak pertama (data dikumpulkan langsung dari pelanggan), serta data dari sumber pihak ketiga.

Perusahaan yang ingin memanfaatkan data dari sumber internal sering kali menghadapi kendala: data yang tersilo. Untungnya, silo tersebut dapat diatasi melalui integrasi data, yaitu proses menggabungkan data dari sumber berbeda dan mengubahnya ke dalam format yang terpadu serta dapat digunakan. Misalnya, sebuah organisasi dapat memperkaya kumpulan data pelanggan dengan mengintegrasikan data dari sistem manajemen hubungan pelanggan (CRM) dan basis data pemasaran.

Perusahaan juga dapat memanfaatkan sumber data eksternal, baik berupa sumber data publik gratis maupun penyedia data pihak ketiga. Sumber data publik mencakup kumpulan data pemerintah (mis. data sensus dan laporan ketenagakerjaan) sementara penyedia data pihak ketiga mengumpulkan serta menjual berbagai jenis data, termasuk data kontak, demografis, dan firmografis. Saat memilih data dari pihak ketiga, bisnis sebaiknya hanya bekerja sama dengan sumber dan vendor tepercaya agar dapat memastikan bahwa data yang diperoleh akurat, mutakhir, dan memenuhi standar kualitas mereka.

Setiap data yang diperoleh dan disimpan sebagai bagian dari proses pengayaan data harus dikelola sesuai dengan regulasi yang mengatur privasi data dan keamanan data, seperti GDPR dan Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan (HIPAA). 

Dengan meningkatnya pengambilan keputusan berbasis data dan kebutuhan data terkait AI, permintaan terhadap data berkualitas tinggi serta, secara tidak langsung, alat pengayaan data, turut meningkat. Pasar global untuk solusi pengayaan data diproyeksikan mencapai hampir 4,6 miliar USD pada tahun 2030, meningkat dari sekitar 2,4 miliar USD pada tahun 2023.

Sementara adopsi AI membantu mendorong penggunaan solusi pengayaan data, teknologi ini juga mendukung beberapa alat pengayaan data paling canggih. Jenis alat dan solusi pengayaan data yang umum meliputi:

• Solusi integrasi data: Solusi integrasi data mendukung proses ekstrak, transformasi, dan muat (ETL) yang mencakup pengayaan data serta pembersihan data dan berbagai modifikasi data lainnya. (Penting untuk dicatat bahwa solusi integrasi data juga dapat mengoperasionalkan data setelah diperkaya dengan memuat data yang telah diperkaya ke gudang data dan tujuan lainnya untuk analisis.)

• Data lakehouse terbuka: Solusi data lakehouse terdepan dapat mengotomatiskan pemasukan dan pengayaan data tidak terstruktur, lalu menyatukannya dengan data terstruktur.

• Perangkat lunak tata kelola data: Perangkat lunak tata kelola data tingkat lanjut menerapkan model bahasa besar (LLM) untuk pengayaan metadata, yaitu meningkatkan metadata teknis dengan konteks, label, atau deskripsi tambahan.

• Solusi alur kerja pengayaan berbasis agen: Agen AI dapat semakin menyederhanakan proses pengayaan data. Dalam salah satu model pengayaan data agen, pengguna membuat spreadsheet lalu memicu antarmuka pemrograman aplikasi (API) untuk menemukan dan menyerap data real-time yang relevan dari web. Informasi baru tersebut kemudian diproses oleh LLM dan ditambahkan ke dalam spreadsheet.¹

Pengayaan data memiliki aplikasi di berbagai bidang dan industri.

Tim pemasaran dan tim penjualan sering menjadi pengguna utama pengayaan data, terutama pengayaan data perilaku, pengayaan demografis, dan pengayaan firmografis. Mereka memanfaatkan data yang telah diperkaya untuk membangun profil pelanggan, mendukung strategi segmentasi, membuat kampanye pemasaran yang disesuaikan, serta memberikan pengalaman pelanggan yang dipersonalisasi.

Data spasial berkualitas tinggi sangat penting untuk perencanaan dan pengembangan kota. Salah satu bentuk pengayaan geografis yang dikenal sebagai geocoding memperoleh koordinat lintang dan bujur dari alamat jalan, sehingga membantu perencana kota mengidentifikasi lokasi dengan lebih presisi.

Perangkat wearable, aplikasi kesehatan dan kebugaran, serta teknologi kesehatan lainnya menjadi sumber informasi baru untuk memperkaya kumpulan data pasien dan riset. Pengayaan semacam ini dapat membantu tenaga medis meningkatkan perawatan pasien serta membantu peneliti menemukan pola dan insight penting.

Data peristiwa keamanan dapat diperkaya dengan informasi seperti lokasi fisik (pengayaan geografis) dan perangkat yang digunakan (pengayaan teknografis) untuk meningkatkan penilaian risiko serta kerentanan keamanan siber.