Apa itu ekstrak, muat, ubah (ELT)?

ELT umumnya dikenal sebagai pendamping integrasi data ETL (atau extract, transform, load). Namun, tidak seperti ETL, alur ELT menempatkan transformasi data di akhir proses integrasi data, bukan di tengah. Pendekatan ini memungkinkan pergerakan data yang lebih cepat dari sumber ke target, kemudian transformasi data terjadi di dalam sistem target.

Organisasi mengandalkan ELT saat mereka menangani data estate yang berkembang dalam lingkungan cloud. ELT memungkinkan perusahaan untuk memanfaatkan kekuatan komputasi dan elastisitas platform cloud untuk mengubah data mereka sesuai kebutuhan, dalam skala besar. Fleksibilitas semacam itu memberdayakan perusahaan untuk menyerap dan mengubah data dari beragam sumber dan format, serta mempertahankan akses ke data mentah untuk contoh penggunaan pada masa mendatang. Hal ini juga memungkinkan mereka untuk membangun alur dengan biaya awal yang rendah.

Meskipun ELT awalnya merupakan proses berbasis batch, proses ini dapat mendukung integrasi data streaming dengan menggunakan platform streaming data real-time seperti Apache Kafka. Alat ELT utama lainnya termasuk integrasi data dan solusi transformasi data yang terintegrasi dengan repositori data utama.

ELT memungkinkan perusahaan menyimpan volume data dalam jumlah sangat besar dengan cepat dan memanfaatkan keuntungan arsitektur data cloud native.

ELT menjadi proses integrasi integral sejak sekitar tahun 2010 karena setidaknya dua alasan utama:

• lonjakan volume data
• ketersediaan komputasi awan

Ketika organisasi berusaha mengelola data estate besar yang belum pernah terjadi sebelumnya, mereka beralih ke lingkungan cloud. Lingkungan cloud dapat menyediakan penyimpanan yang lebih murah dan lebih dapat diskalakan daripada server on premises. Dengan kata lain, mereka sering dianggap sebagai penyimpanan ideal untuk kumpulan data yang berkembang dan beragam.

Yang tidak kalah pentingnya, platform cloud dan gudang data berbasis cloud memungkinkan transformasi data dalam skala besar. Menggunakan model ini berarti data tidak perlu lagi diubah di tengah alur data, seperti pada alur ETL tradisional. Sebaliknya, data dapat diubah secara efisien pada sistem target—yang merupakan pendekatan ELT.

Insinyur data sering lebih memilih ELT karena lebih baik dalam menangani jumlah data yang sangat besar dan dapat menampung data yang lebih beragam, termasuk data agak terstruktur dan tidak terstruktur, dibandingkan ETL tradisional. Ada juga keuntungan untuk menjaga ketersediaan data mentah: sebelum melakukan transformasi, tim dan ilmuwan data yang berbeda dapat menyesuaikan logika transformasi untuk memenuhi kebutuhan spesifik mereka sekaligus mempertahankan data mentah untuk kebutuhan masa depan, mulai dari analitik hingga machine learning.

“Ini menyangkut contoh penggunaan Anda dan apa yang Anda coba capai,” kata Jamil Spain, Senior Technical Advisor di IBM. “Masuk akal untuk melakukan pemuatan terlebih dahulu lalu masuk ke sandbox dan mencari tahu data apa yang Anda miliki. Dari sana, Anda dapat bekerja untuk mengubahnya ke format yang Anda inginkan.”

Pada awalnya, ELT adalah proses yang berorientasi batch. Namun, kemajuan dalam rekayasa data sekarang memungkinkan penerapan ELT melalui platform streaming peristiwa seperti Apache Kafka untuk mengintegrasikan data streaming dan mendukung analitik real-time.

“Ketika data mentah masuk, Anda memasukkannya ke topik Kafka tertentu dan itu seperti aliran yang berkembang,” jelas Spain. “Kemudian saya bisa menulis logika pemrograman untuk merangkum atau membuat perhitungan... saya dapat menganalisis data ketika data berkembang.”

Meskipun Kafka adalah solusi sumber terbuka, solusi kelas perusahaan seperti Confluent, sebuah perusahaan IBM, dapat meningkatkan implementasi Kafka dengan kemampuan manajemen data yang lebih baik, tata kelola yang aman, konektor yang telah dibangun sebelumnya, dan dukungan pelanggan.

ELT terdiri dari tiga tahap utama: ekstrak, muat, dan ubah. Masing-masing tahap ini diperinci di bagian berikutnya.

Selama ekstraksi data, data disalin atau diekspor dari lokasi sumber. Data dapat terdiri dari berbagai jenis data dan berasal dari hampir semua sumber data terstruktur atau tidak terstruktur, termasuk tetapi tidak terbatas pada:

• Server SQL dan NoSQL
• Sistem manajemen hubungan pelanggan (CRM)
• Sistem perencanaan sumber daya perusahaan (ERP)
• API
• Email, file teks, dan dokumen
• File JSON dan CSV
• Halaman web

Data yang diekstraksi dipindahkan ke area penyimpanan data, seperti gudang data atau data lake. Jumlah nominal pemrosesan data dapat terjadi selama tahap ini, termasuk sejumlah pembersihan data, seperti mengatasi nilai yang tidak ada.

Biasanya, pemuatan berlangsung selama jam kerja ketika konsumen berusaha menggunakan data untuk analisis atau wawasan yang harus ditangani dalam waktu tertentu dan tidak memiliki waktu untuk menunggu proses ETL tradisional.

Pada tahap ini, data diubah dalam data sistem target menggunakan alat seperti SQL dan Data Build Tool (dbt). Tahap ini dapat melibatkan:

• Membersihkan data, menghilangkan duplikasi, memfilter, memvalidasi, dan mengautentikasi data.

• Melakukan perhitungan, konversi, analisis data, atau membuat ringkasan berdasarkan data mentah. Hal ini dapat mencakup mengubah judul baris dan kolom agar konsisten, mengonversi mata uang atau unit pengukuran, mengedit string teks dan menambahkan atau merata-rata nilai—apa pun yang diperlukan agar sesuai dengan kebutuhan intelijen bisnis atau analitik spesifik organisasi.

• Menghapus, mengenkripsi, menyembunyikan, atau melindungi data yang diatur oleh peraturan pemerintah atau industri, seperti Regulasi Perlindungan Data Umum (GDPR) Uni Eropa dan Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan AS (HIPAA).

Mungkin saja Anda keliru mengira bahwa ELT adalah proses terkait yang dikenal dengan singkatan yang hampir sama. Namun, ada beberapa perbedaan yang jelas antara ELT (extract, load, transform) dan ETL (extract, transform, load).

Perbedaan utama antara keduanya adalah urutan operasi. Tidak seperti ELT, ETL melakukan fungsi transformasi sebelum fungsi pemuatan. Perbedaan paling signifikan antara kedua proses tersebut meliputi:

ELT memberikan beberapa keuntungan bagi pengguna yang mengintegrasikan proses ini ke dalam alur kerja mereka.

• Pergerakan data yang lebih cepat: Tanpa transformasi dalam transit yang memperlambat pergerakan data, data tiba lebih cepat untuk contoh penggunaan yang harus ditangani dalam waktu tertentu, mulai dari peringatan stok habis di inventaris hingga perdagangan ekuitas.

• Ketahanan alur yang lebih tinggi: Pemisahan antara tahap transformasi dan pemuatan memastikan bahwa kesalahan pengodean atau kesalahan lain dalam tahap transformasi tidak akan merusak alur.

• Data yang lebih beragam: ELT dapat mengekstrak dan memuat data dari berbagai sumber dan dalam format yang berbeda.

• Penggunaan kembali data: Karena data disimpan dalam bentuk mentah, pemangku kepentingan yang berbeda dengan kebutuhan berbeda dapat mengakses data yang sama dan menerapkan logika transformasi mereka sendiri pada data.

• Skalabilitas yang lebih besar: ELT memanfaatkan kekuatan dan ukuran repositori berbasis cloud untuk memungkinkan transformasi dalam skala besar.

• Efisiensi biaya: Efisiensi biaya dapat dicapai melalui biaya awal yang lebih rendah dan memanfaatkan sumber daya komputasi dan penyimpanan cloud yang fleksibel sesuai kebutuhan.

Namun, meskipun memiliki semua manfaat ini, penerapan ELT bisa memiliki tantangan tersendiri.

Tanpa transformasi dalam transit untuk membersihkan dan menata data, perusahaan mungkin menghadapi masalah kualitas data, kepatuhan, dan keamanan dalam data mentah yang dikirimkan ke sistem target. Program tata kelola data dapat membantu mengatasi masalah ini dengan menegakkan standar kualitas data dan kepatuhan, serta praktik keamanan seperti enkripsi data dan kontrol akses berbasis peran.

Meskipun menggunakan sumber daya cloud yang fleksibel dapat menghemat biaya, biaya masih dapat meningkat seiring waktu akibat perkembangan volume data. Menggunakan optimasi biaya cloud, praktik yang terdiri dari strategi dan alat untuk membantu mengurangi pengeluaran cloud, dapat memungkinkan perusahaan menghindari tagihan yang lebih tinggi dari perkiraan.

Karena ELT dirancang untuk berfungsi dengan infrastruktur cloud modern, perusahaan yang menggunakan infrastruktur on premises dan sistem lama biasanya mendapati bahwa arsitektur saluran tradisional—saluran ETL—lebih cocok untuk kebutuhan integrasi data mereka.

Menerapkan alur kerja ELT membutuhkan integrasi data dan alat transformasi.

Solusi integrasi data terkemuka sering menawarkan fleksibilitas untuk mendukung saluran ELT dan ETL tradisional. Fitur-fitur utama lainnya mungkin meliputi:

• Satu set konektor yang luas untuk menyerap data dari sumber data yang berbeda
• Integrasi dengan alat transformasi dan gudang data
• Integrasi dengan solusi streaming data
• Opsi no-code dan low-code serta desain pipeline yang dibantu AI, memungkinkan lebih banyak pengguna untuk membangun pipeline lebih cepat
• Observabilitas terintegrasi, kualitas, garis keturunan, dan tata kelola untuk pipeline yang lebih andal

Alat integrasi data yang mendukung ELT berkisar dari solusi komersial seperti IBM® DataStage dan Fivetran hingga solusi sumber terbuka seperti Airbyte.

Alat standar industri untuk transformasi data adalah Data Build Tool (dbt). Tugas utama terkait data yang dimungkinkan oleh dbt meliputi:

• Mengelola alur kerja kompleks untuk transformasi data
• Mempersiapkan data untuk pelaporan dan analisis dengan mengubah data mentah menjadi format terstruktur
• Membuat model berlapis dan dapat digunakan kembali yang menggambarkan berbagai tahapan transformasi data
• Memastikan transformasi data berjalan dalam urutan yang benar dan dapat diintegrasikan dengan alur kerja data yang lebih besar.

Perusahaan sering menggunakan dbt untuk mengubah data menjadi gudang data seperti Amazon Redshift dan Google BigQuery, platform manajemen data seperti Snowflake, dan data lakehouse seperti watsonx.data.

ELT biasanya digunakan di lingkungan penggunaan data volume tinggi atau real-time. Contohnya antara lain:

ELT memungkinkan penyerapan cepat beragam data yang sering kali penting untuk kecerdasan buatan dan beban kerja machine learning. Karena data dimuat dalam bentuk mentah, data dapat digunakan kembali untuk membangun dan melatih model AI yang berbeda. Menurut sebuah laporan oleh Sloan School of Management MIT, data yang dapat digunakan kembali meningkatkan kinerja inisiatif bisnis berbasis AI.

ELT memungkinkan perusahaan untuk mengonsolidasikan data pelanggan dari berbagai sumber untuk menginformasikan inisiatif segmentasi dan personalisasi. Misalnya, menyerap dan menganalisis informasi tentang riwayat pembelian pelanggan, perilaku penelusuran, dan karakteristik demografis dapat membantu peritel e-commerce merancang penawaran dan diskon yang disesuaikan.

Perusahaan dapat menggunakan ELT untuk mengumpulkan data secara efisien di seluruh sistem, kemudian menerapkan transformasi untuk memenuhi persyaratan peraturan tertentu, sekaligus mempertahankan jejak audit dan akses ke data mentah asli. Satu studi menemukan bahwa sistem ELT hybrid cloud dapat mengurangi latensi dalam pelaporan risiko, keuangan, dan regulasi hingga 40%.

ELT mendukung penyerapan data dari sensor, perangkat Internet of Things (IoT) , dan sistem manajemen inventaris. Pendekatan ini dapat menginformasikan analitik yang meningkatkan perutean pengiriman dan manajemen inventaris. Misalnya, menganalisis data yang diserap tentang penjualan dan pemenuhan pesanan dapat membantu peritel mengoptimalkan tingkat persediaan untuk menghindari kehabisan stok.