Apa itu transformasi data?

Sementara para spesialis dapat mencapai transformasi data secara manual, sejumlah besar data yang diperlukan untuk mendukung aplikasi perusahaan modern biasanya memerlukan beberapa tingkat otomatisasi. Alat dan teknologi yang diterapkan melalui proses konversi data bisa sederhana atau rumit.

Sebagai contoh, transformasi data dapat dilakukan semudah mengonversi bidang tanggal (misalnya: MM/DD/YY) menjadi bidang tanggal lainnya, atau membagi satu kolom Excel menjadi dua. Tetapi transformasi data yang kompleks, yang membersihkan dan menstandarkan data dari berbagai sumber yang berbeda dan terdiri dari beberapa alur kerja, mungkin melibatkan keterampilan ilmu data tingkat lanjut.

Fungsi rekayasa data tingkat lanjut ini meliputi normalisasi data, yang menentukan hubungan antara titik data; dan pengayaan data, yang melengkapi informasi yang ada dengan kumpulan data pihak ketiga.

Dalam ekonomi global yang berbasis digital saat ini, transformasi data membantu organisasi memanfaatkan data berjumlah besar dari berbagai sumber untuk meningkatkan layanan, melatih model machine learning, dan menerapkan analisis big data.

Dengan menstandarkan kumpulan data dan mempersiapkannya untuk pemrosesan selanjutnya, transformasi data memungkinkan beberapa praktik data perusahaan yang penting. Alasan umum untuk transformasi data di dunia bisnis meliputi:

Transformasi data biasanya mengikuti proses terstruktur untuk menghasilkan data berharga yang dapat digunakan dari bentuk mentahnya. Langkah-langkah umum dalam proses transformasi data meliputi:

Selama proses penemuan, data sumber dikumpulkan. Proses ini mungkin termasuk mengambil data mentah dari API, SQL database, atau berkas internal dalam beberapa format yang berbeda. Dalam mengidentifikasi dan mengekstrak informasi ini, petugas data memastikan bahwa informasi yang dikumpulkan komprehensif dan relevan dengan penerapan akhirnya. Selama proses ini, para insinyur juga mulai memahami karakteristik dan struktur data dalam suatu proses yang dikenal sebagai pembuatan profil data.

Data preparation dan pembersihan data melibatkan identifikasi dan perbaikan kesalahan, inkonsistensi, dan ketidakakuratan dalam data mentah. Langkah ini memastikan kualitas dan keandalan data dengan menghapus duplikat dan outlier atau menangani nilai yang hilang.

Pemetaan data melibatkan pembuatan skema atau proses pemetaan untuk memandu proses transformasi. Selama proses ini, insinyur data menentukan bagaimana elemen dalam sistem sumber sesuai dengan elemen tertentu dalam format target.

Baik menggunakan alat pihak ketiga atau dengan membuat kode secara internal, pada langkah ini organisasi membuat kode yang akan mentransformasi data.

Selama fase ini, transformasi aktual terjadi saat kode diterapkan ke data mentah. Data yang ditransformasi dimuat ke dalam sistem targetnya untuk analisis atau pemrosesan lebih lanjut. Data dan model data yang ditransformaso kemudian divalidasi untuk memastikan konsistensi dan kebenaran.

Selama proses peninjauan, analis data, insinyur, atau pengguna akhir meninjau data output, memastikan bahwa data tersebut memenuhi persyaratan.

ETL (ekstrak, transformasi, muat) dan ELT (ekstrak, muat, transformasi) adalah dua proses transformasi data yang sering digunakan yang menerapkan teknik saluran data yang sedikit berbeda. Masing-masing memiliki kelebihan dan kekurangan, tergantung pada ukuran dan kompleksitas transformasi.

Dalam proses ETL, sub-kumpulan data terstruktur yang telah ditentukan sebelumnya diekstrak dari sumbernya, tempat data tersebut diubah di area staging atau server pemrosesan sekunder sebelum dimuat ke dalam sistem targetnya. ETL lebih cocok untuk penyimpanan on premises dan kumpulan data yang lebih kecil. Namun, ETL dapat lebih disukai dalam skenario dengan kebutuhan kualitas dan konsistensi data tertentu, karena langkah-langkah pembersihan dan validasi data yang lebih ketat dapat diperkenalkan. ETL mungkin juga diperlukan untuk melindungi data sensitif, seperti informasi yang dilindungi HIPAA, selama migrasi.

Dalam proses ELT, informasi diekstrak dari sumber data dan dimuat ke dalam sistem target berbasis cloud, di mana informasi tersebut diubah. Pendekatan ini, karena memanfaatkan kekuatan komputasi awan, biasanya memungkinkan pemrosesan yang lebih cepat dan manajemen data yang lebih tangkas. Ini juga dapat digunakan dengan data tidak terstruktur seperti gambar. Dengan keunggulan komputasi berbasis cloud dan daya penyimpanan, proses ELT mendapat manfaat dari peningkatan skalabilitas.

Ilmuwan dan insinyur data menggunakan beberapa teknik berbeda selama proses transformasi data. Taktik mana yang digunakan sepenuhnya tergantung pada proyek dan tujuan penggunaan data, meskipun beberapa metode dapat digunakan secara bersinggungan sebagai bagian dari proses yang kompleks.

• Pembersihan data: Pembersihan data meningkatkan kualitas data dengan memperbaiki kesalahan dan ketidakkonsistenan, seperti menghilangkan catatan duplikat.

• Agregasi data: Agregasi data meringkas data dengan menggabungkan beberapa catatan menjadi satu nilai atau kumpulan data.

• Normalisasi data: Normalisasi data menstandardisasi data, membawa semua nilai ke dalam skala atau format yang umum seperti nilai numerik dari 1 hingga 10.

• Pengkodean data: Pengkodean data mengubah data kategorikal menjadi format numerik, sehingga lebih mudah dianalisis. Misalnya, pengkodean data mungkin menetapkan nomor unik untuk setiap kategori data.

• Pengayaan data: Pengayaan data meningkatkan data dengan menambahkan informasi yang relevan dari sumber eksternal, seperti data demografis pihak ketiga atau metadata yang relevan.

• Imputasi data: Imputasi data menggantikan data yang hilang dengan nilai yang masuk akal. Misalnya, mungkin mengganti missing values dengan nilai median atau rata-rata.

• Pembagian data: Pembagian data membagi data menjadi beberapa sub-kumpulan untuk tujuan yang berbeda. Misalnya, insinyur mungkin membagi kumpulan data menjadi dua, satu digunakan untuk pelatihan dan satu untuk pengujian dalam machine learning.

• Diskritisasi data: Dalam diskritisasi data, data dikonversi ke dalam bucket atau interval diskrit dalam proses yang kadang-kadang disebut sebagai binning. Sebagai contoh, diskritisasi dapat digunakan dalam lingkungan layanan kesehatan untuk menerjemahkan data seperti usia pasien ke dalam kategori seperti ‘bayi’ atau ‘dewasa’.

• Generalisasi data: Generalisasi data melakukan abstraksi kumpulan data yang besar ke dalam bentuk yang lebih tinggi atau bentuk ringkasan, mengurangi detail, dan membuat data lebih mudah dipahami.

• Visualisasi data: Visualisasi data merepresentasikan data secara grafis, mengungkapkan pola atau insight yang mungkin tidak langsung terlihat.

Meskipun memungkinkan untuk melakukan transformasi data hanya dengan mengerahkan teknisi internal, banyak layanan pihak ketiga yang membantu memfasilitasi proses konversi dan migrasi. Beberapa yang paling umum termasuk:

• Alat ETL dan ELT: Alat bantu seperti Apache NiFi dan Informatica memfasilitasi proses ETL atau ELT plug-and-play.

• Platform integrasi data: Sejumlah alat seperti IBM Cloud Pak for Data mendukung integrasi data dan pemrosesan real-time.

• Alat bantu Data preparation: Alat bantu ini dirancang khusus untuk pembersihan dan transformasi data sebelum melakukan transformasi atau migrasi data.

• Bahasa pemrograman: Bahasa pemrograman seperti Python dan R, dengan pustaka seperti panda sumber terbuka, memberikan kemampuan yang kuat untuk transformasi data.

Transformasi data merupakan langkah penting dalam pemrosesan data. Ini meningkatkan kapasitas organisasi untuk analisis, pelaporan, pengambilan keputusan dan penyimpanan. Manfaat utamanya mencakup: