Apa itu ETL (ekstrak, ubah, muat)?

Alur proses data ETL menyediakan fondasi untuk analisis data dan alur kerja machine learning. Melalui serangkaian aturan bisnis, ETL membersihkan dan mengatur data untuk memenuhi kebutuhan kecerdasan bisnis tertentu, seperti pelaporan bulanan. Alur proses data ETL juga dapat menangani analisis yang lebih canggih, yang dapat meningkatkan proses back-end dan pengalaman pengguna akhir. Alur proses ETL sering digunakan oleh organisasi untuk:

• Mengekstrak data dari sistem lama

• Membersihkan data untuk meningkatkan kualitas data dan membangun konsistensi

• Memuat data ke basis data target

Bisnis sudah menghasilkan data sejak zaman sempoa, tetapi analitik modern baru mungkin dengan adanya komputer digital dan penyimpanan data.

Sebuah langkah maju besar tiba pada tahun 1970-an, dengan perpindahan ke basis data terpusat yang lebih besar. ETL diperkenalkan sebagai proses untuk mengintegrasikan dan memuat data demi komputasi dan analisis, yang akhirnya menjadi metode utama dalam memproses data untuk proyek gudang data.

Pada akhir tahun 1980-an, gudang data dan perpindahan dari basis data transaksional ke basis data relasional yang menyimpan informasi dalam format data relasional semakin populer. Basis data transaksional yang lebih lama akan menyimpan informasi transaksi per transaksi, dengan duplikat informasi pelanggan yang disimpan dengan setiap transaksi, sehingga tidak ada cara yang mudah untuk mengakses data pelanggan dengan cara yang terpadu dari waktu ke waktu. Dengan basis data relasional, analitik menjadi fondasi intelijen bisnis (BI) dan alat yang signifikan dalam pengambilan keputusan.

Hingga perangkat lunak ETL yang lebih canggih tersedia, upaya awal sebagian besar merupakan upaya manual oleh tim TI untuk mengekstrak data dari berbagai sistem dan konektor. Mereka kemudian mengubah data menjadi format umum dan memuatnya ke tabel yang saling berhubungan. Namun, upaya awal pada ETL tersebut sepadan karena algoritma canggih dan kemunculan jaringan neural membuka peluang lebih dalam untuk insight analitis.

Era big data tiba pada 1990-an karena kecepatan komputasi dan kapasitas penyimpanan terus berkembang pesat. Sejumlah besar data kemudian diambil dari sumber-sumber baru, seperti media sosial dan Internet of Things (IoT). Namun, masih ada kendala, yaitu data sering disimpan di data warehouse lokal.

Langkah besar berikutnya dalam komputasi dan ETL adalah komputasi cloud, yang menjadi populer pada akhir 1990-an. Dengan menggunakan data warehouse seperti Amazon Web Services (AWS), Microsoft Azure, dan Snowflake, data kini dapat diakses dari seluruh dunia. Platform ini juga dapat ditingkatkan dengan cepat untuk memungkinkan solusi ETL memberikan insight yang sangat terperinci dan keunggulan kompetitif yang baru ditemukan.

Evolusi terbaru adalah solusi ETL melalui data streaming untuk memberikan insight terkini dari data dalam jumlah besar.

Perbedaan yang paling jelas antara ETL dan ELT—ekstrak, muat, transformasi—adalah perbedaan dalam urutan operasi. ELT menyalin atau mengekspor data dari lokasi sumber. ELT tidak memuatnya ke area penyiapan untuk transformasi, tetapi memuat data mentah langsung ke penyimpanan data target untuk ditransformasikan sesuai kebutuhan.

Meskipun kedua proses tersebut menggunakan berbagai repositori data, seperti database, data warehouse, dan data lake, setiap proses memiliki kelebihan dan kekurangan. ELT berguna untuk memproses kumpulan data bervolume tinggi dan tidak terstruktur karena pemuatan dapat terjadi langsung dari sumbernya. ELT bisa lebih ideal untuk manajemen big data karena tidak memerlukan banyak perencanaan di awal untuk ekstraksi dan penyimpanan.

Proses ETL membutuhkan definisi yang lebih jelas pada awalnya. Titik data spesifik perlu diidentifikasi untuk diekstraksi bersama dengan “kunci” potensial untuk diintegrasikan di seluruh sistem sumber yang berbeda. Sumber data input sering dilacak dengan menggunakan metadata. Bahkan setelah pekerjaan itu selesai, aturan bisnis untuk transformasi data perlu disusun.

Pekerjaan ini biasanya memiliki ketergantungan terhadap kebutuhan data untuk jenis analisis data tertentu, yang akan menentukan tingkat peringkasan yang perlu dimiliki oleh data.

Pipeline ELT semakin populer dengan adopsi cloud databases, namun teknologi ELT masih berkembang sehingga praktik terbaiknya masih dalam proses pembentukan.

Cara termudah untuk memahami cara kerja ETL adalah memahami apa yang terjadi di setiap langkah proses.

Selama ekstraksi data, data mentah disalin atau diekspor dari lokasi sumber ke area penyiapan. Tim manajemen data dapat mengekstrak data dari berbagai sumber yang berbeda, yang dapat terstruktur atau tidak terstruktur. Jenis data tersebut meliputi, namun tidak terbatas pada:

• Server SQL atau NoSQL
• Sistem CRM dan ERP
• JSON dan XML
• Database file datar
• Email
• Halaman web

Di area penahapan, data mentah mengalami pemrosesan data. Di sini, data diubah dan dikonsolidasikan untuk contoh penggunaan analitis yang dimaksud. Fase proses transformasi ini dapat mencakup:

• Memfilter, membersihkan, menggabungkan, menghilangkan duplikat, memvalidasi, dan mengotentikasi data.
• Melakukan perhitungan, penerjemahan, atau peringkasan berdasarkan data mentah. Proses ini dapat mencakup mengubah judul baris dan kolom untuk konsistensi, mengonversi mata uang atau unit pengukuran lainnya, mengedit string teks, dan banyak lagi.
• Melakukan audit untuk memastikan kualitas dan kepatuhan data, dan metrik komputasi.
• Menghapus, mengenkripsi, atau melindungi data yang diatur oleh industri atau regulator pemerintah.
• Memformat data ke dalam tabel atau tabel gabungan agar sesuai dengan skema gudang data target.

Pada langkah terakhir ini, data yang diubah dipindahkan dari area penyiapan ke data warehouse target. Biasanya, proses ini melibatkan pemuatan awal semua data, diikuti dengan pemuatan perubahan data inkremental secara berkala dan, lebih jarang, penyegaran penuh untuk menghapus dan mengganti data di warehouse.

Bagi sebagian besar organisasi yang menggunakan ETL, prosesnya bersifat otomatis, terdefinisi dengan baik, berkesinambungan, dan berbasis batch. Biasanya, proses pemuatan ETL berlangsung di luar jam kerja saat lalu lintas pada sistem sumber dan data warehouse berada pada titik terendah.

ETL dan ELT hanya dua metode integrasi data, dan ada pendekatan lain yang juga digunakan untuk memfasilitasi alur kerja integrasi data. Beberapa metode tersebut meliputi:

• Pengambilan Data Perubahan (Change Data Capture-CDC) mengidentifikasi dan menangkap hanya data sumber yang telah berubah dan memindahkan data tersebut ke sistem target. CDC dapat digunakan untuk mengurangi sumber daya yang dibutuhkan selama langkah “ekstrak” di ETL. Metode ini juga dapat digunakan secara independen untuk memindahkan data yang telah diubah ke data lake atau repositori lainnya secara real-time.
  
  
• Data replication menyalin perubahan dalam sumber data secara real-time atau dalam batch ke basis data pusat. Replikasi data sering terdaftar sebagai metode integrasi data. Bahkan, ini paling sering digunakan untuk membuat cadangan untuk pemulihan bencana.
  
  
• Virtualisasi data menggunakan lapisan abstraksi perangkat lunak untuk membuat tampilan data yang terpadu, terintegrasi, dan dapat digunakan sepenuhnya tanpa menyalin, mengubah, atau memuat data sumber secara fisik ke sistem target. Fungsionalitas virtualisasi data memungkinkan organisasi untuk membuat data warehouse virtual, data lake, dan data mart dari sumber data yang sama untuk penyimpanan. Pendekatan ini menghindari biaya dan kompleksitas dalam membangun dan mengelola platform terpisah untuk masing-masing sumber data. Meskipun virtualisasi data dapat digunakan bersama ETL, virtualisasi data makin dilihat sebagai alternatif untuk ETL dan metode integrasi data fisik lainnya.
  
  
• Integrasi Data Aliran (Stream Data Integration-SDI) sesuai dengan namanya—SDI secara terus-menerus mengonsumsi aliran data secara real time, mengubahnya, dan memuatnya ke sistem target untuk dianalisis. Kata kuncinya adalah terus-menerus. Alih-alih mengintegrasikan cuplikan data yang diambil pada waktu tertentu, SDI mengintegrasikan data secara konstan. SDI memproses informasi ketika tersedia. SDI memungkinkan penyimpanan data untuk mendukung analisis, machine learning, dan pengaplikasian real time untuk meningkatkan pengalaman pelanggan, deteksi penipuan, dan banyak lagi.

Solusi ETL meningkatkan kualitas dengan melakukan pembersihan data sebelum memuat data ke repositori yang berbeda. Sebagai operasi batch yang memakan waktu, ETL lebih sering direkomendasikan untuk membuat repositori data target yang lebih kecil yang membutuhkan pembaruan yang lebih jarang. Metode integrasi data lainnya—termasuk ELT (ekstrak, muat, transformasi), pengambilan data perubahan (CDC), dan virtualisasi data—digunakan untuk mengintegrasikan volume data yang makin besar yang sering berubah atau aliran data real-time.

Di masa lalu, organisasi menulis kode ETL mereka sendiri. Sekarang ada banyak alat ETL sumber terbuka dan komersial serta layanan berbasis cloud untuk dipilih. Kemampuan khas produk ini meliputi:

• Otomatisasi yang komprehensif dan kemudahan penggunaan: Alat ETL terkemuka mengotomatiskan seluruh aliran data, dari sumber data ke data warehouse target. Otomatisasi ini menghindarkan para insinyur data dari tugas-tugas membosankan dalam memindahkan dan memformat data—untuk hasil yang lebih cepat dan operasi yang lebih efisien.
  
  
• Antarmuka visual, seret dan lepas: Fungsi ini dapat digunakan untuk menentukan aturan dan aliran data.
  
  
• Dukungan untuk manajemen data yang kompleks: Kemampuan ini mencakup bantuan dengan perhitungan kompleks, integrasi data, dan manipulasi string.
  
  
• Keamanan dan kepatuhan: Alat ETL terbaik mengenkripsi data baik saat bergerak maupun diam dan disertifikasi sesuai dengan peraturan industri atau pemerintah, termasuk HIPAA dan GDPR.

Selain itu, banyak alat ETL telah berevolusi untuk memasukkan kemampuan ELT dan untuk mendukung integrasi data real-time dan streaming untuk aplikasi kecerdasan buatan (AI).

Area penyiapan adalah lokasi penyimpanan sementara antara sumber data dan tujuan target (seperti data warehouse) yang digunakan untuk menyimpan sementara data mentah. Area ini bertindak sebagai dok pemuatan di mana data mentah dibersihkan, diperiksa, dan diubah sebelum pindah ke tujuan target.

Pemuatan awal adalah ekstraksi pertama kali dan pemuatan data historis dari sumber data ke tujuan target. Proses ini mencakup seluruh kumpulan data dan dilakukan sekali, di awal proyek. Pemuatan inkremental adalah proses memuat hanya data yang baru, diubah, atau dihapus sejak pemuatan terakhir. Proses-proses ini berjalan secara terjadwal.

Istilah ini agak ambigu dan digunakan dalam dua cara berbeda. Dimensi yang berubah secara perlahan mengacu pada tabel dimensi dalam data warehouse yang berubah secara sporadis dari waktu ke waktu, bukan pada jadwal tetap. Contoh yang sering dikutip adalah alamat pelanggan. Istilah ini juga digunakan untuk merujuk pada metode dan teknik yang digunakan untuk menangani dan melacak perubahan dalam dimensi data dari waktu ke waktu.

Untuk menangani data duplikat, organisasi harus membuat proses untuk mengidentifikasi data duplikat dan jenisnya secara sistematis, aturan yang jelas untuk menghapus atau menggabungkan data duplikat dan batasan untuk mencegah entri di masa mendatang.