Apa itu ekstrak, muat, ubah (ELT)?

Meskipun serupa dengan ETL, ELT merupakan pendekatan yang secara mendasar berbeda terhadap prapemrosesan data dan pendekatan ini baru-baru ini banyak diadopsi seiring transisi ke lingkungan cloud.

ELT terdiri atas tiga tahap utama: Ekstrak, Muat, dan Transformasi. Setiap tahap dijelaskan berikut ini.

Selama ekstraksi data, data mentah disalin atau diekspor dari lokasi sumber. Kumpulan data dapat terdiri atas berbagai jenis data dan berasal dari hampir semua sumber terstruktur maupun tidak terstruktur, antara lain:

• Server SQL atau NoSQL
• Sistem CRM dan ERP
• Berkas teks dan dokumen
• Email
• Halaman web

Meskipun demikian, ELT lebih sering digunakan untuk data tidak terstruktur.

Pada langkah ini, data mentah dimuat langsung dari sumber ke repositori tujuan, seperti gudang data atau data lake, tanpa transformasi terlebih dahulu.

Bagi sebagian besar organisasi, proses pemuatan data dilakukan secara otomatis, terdefinisi dengan baik, berkelanjutan, dan berbasis batch. Sebagai pembanding, ETL biasanya berlangsung di luar jam sibuk, saat lalu lintas pada sistem sumber dan gudang data berada pada tingkat terendah sementara konsumen harus menunggu untuk menggunakan data tersebut untuk analisis maupun keperluan lain.

Pada tahap ini, pendekatan schema-on-read digunakan, yaitu penerapan skema pada data menggunakan SQL, atau transformasi data, sebelum analisis. Tahap ini dapat meliputi hal-hal berikut:

• Memfilter, membersihkan, menghilangkan duplikasi, memvalidasi, dan mengautentikasi data.
•  
• Melakukan perhitungan, penerjemahan, analisis, atau peringkasan data berdasarkan data mentah. Hal ini dapat mencakup berbagai hal, mulai dari mengubah judul baris dan kolom agar konsisten, mengonversi mata uang atau satuan pengukuran, hingga mengedit untai teks serta menambahkan atau menghitung rata-rata nilai — apa pun yang diperlukan agar sesuai dengan tujuan BI atau analitik organisasi.
•  
• Menghapus, mengenkripsi, menyamarkan, atau melindungi data yang diatur peraturan pemerintah maupun industri.
•  
• Memformat data menjadi tabel atau tabel gabungan sesuai skema yang diterapkan pada gudang data.

Proses ELT sering kali tertukar dengan proses serupa yang dikenal dengan akronim nyaris identik. Namun, terdapat beberapa perbedaan mencolok antara ELT dan ETL, singkatan dari extract (ekstraksi), transform (transformasi), dan load (pemuatan). ETL merupakan proses integrasi data yang menggabungkan data dari beberapa sumber ke dalam satu penyimpanan data konsisten, yang kemudian dimuat ke dalam data warehouse atau sistem target lainnya. Alat ETL tradisional dirancang untuk membuat pergudangan data guna mendukung aplikasi Business Intelligence (BI) dan Artificial Intelligence (AI).

Perbedaan paling jelas adalah proses ELT menjalankan fungsi Muat (Load) sebelum fungsi Transformasi (Transform) — kebalikan dari langkah kedua dan ketiga pada proses ETL. ELT menyalin atau mengekspor data dari lokasi sumber, tetapi alih-alih memindahkannya ke area staging untuk ditransformasi, ELT memuat data mentah langsung ke penyimpanan data target untuk ditransformasi sesuai kebutuhan. ELT tidak melakukan transformasi data apa pun saat data berada dalam perjalanan.

Namun, urutan langkah bukanlah satu-satunya perbedaan. Pada ELT, penyimpanan data target dapat berupa gudang data, tetapi umumnya berupa data lake, yaitu penyimpanan terpusat berskala besar yang dirancang untuk menyimpan data terstruktur maupun tidak terstruktur dalam jumlah besar.

Data lake dikelola menggunakan platform data besar (seperti Apache Hadoop) atau sistem manajemen data NoSQL terdistribusi. Data lake dapat mendukung intelijen bisnis, tetapi lebih sering dibangun untuk mendukung kecerdasan buatan, pembelajaran mesin (machine learning), analisis prediktif, serta aplikasi berbasis data waktu nyata dan aliran peristiwa.

Terdapat pula perbedaan lain antara ETL dan ELT. Sebagai contoh, karena ETL mentransformasi data sebelum memindahkannya ke repositori terpusat, ETL dapat menyederhanakan atau menyistematiskan kepatuhan terhadap privasi data dibandingkan ELT. Misalnya, jika analis tidak mentransformasi data sensitif sebelum data itu perlu digunakan, data tersebut dapat tetap tidak tersamarkan di dalam data lake. Namun, ilmuwan data mungkin lebih memilih ELT karena pendekatan ini memungkinkan mereka bereksplorasi dalam “sandbox“ data mentah serta melakukan transformasi data sendiri yang disesuaikan dengan aplikasi tertentu. Pada akhirnya, dalam banyak kasus, pilihan antara ETL dan ELT bergantung pada sumber daya yang tersedia dan kebutuhan bisnis.

ELT menawarkan beberapa keuntungan bagi pengguna yang mengintegrasikan proses ini ke dalam alur kerja mereka. Berikut beberapa manfaat pentingnya:

Saat data aliran dalam jumlah besar dihasilkan, ELT memungkinkan data tersebut dimuat dengan segera lalu mentransformasinya setelah data mencapai tujuan. Hal ini mencegah perlambatan yang sering terjadi apabila transformasi dilakukan sebelum fungsi Muat, seperti pada ETL. Sering kali keputusan perlu diambil berdasarkan data ini, dan keterlambatan tidak dapat ditoleransi. Contohnya adalah pasar saham, yang menghasilkan data dalam jumlah besar yang dikonsumsi secara waktu nyata. Dalam skenario semacam ini, ELT menjadi solusi pilihan karena transformasi terjadi setelah data mencapai tujuannya.

Karena data ditransformasi setelah tiba di tujuan, ELT memungkinkan penerima data mengendalikan manipulasi data. Pada ELT, pemisahan tahap transformasi dan pemuatan memastikan kesalahan pengodean atau kesalahan lain pada tahap transformasi tidak memengaruhi tahap lainnya.

ELT memanfaatkan daya komputasi dan kapasitas gudang data untuk memungkinkan transformasi, atau komputasi terskala, dalam skala besar. Gudang data tujuan dapat menambah maupun mengurangi node sesuai kebutuhan, terutama dalam skenario cloud yang memiliki beberapa node dalam setiap klaster, serta memungkinkan penggunaan beberapa klaster sekaligus. Hal ini menghadirkan fleksibilitas dan skalabilitas sesuai permintaan.

ELT tidak memerlukan server sekuat ETL untuk transformasi data dan memanfaatkan sumber daya yang telah tersedia di gudang data. Kondisi ini menghasilkan penghematan biaya serta efisiensi sumber daya.

ELT memungkinkan penggunaan repositori tujuan sesuai pilihan organisasi sehingga menghadirkan fleksibilitas biaya dan sumber daya. Gudang data menggunakan arsitektur MPP (Massively Parallel Processing), termasuk penyimpanan data berbasis memori dengan format kolumnar. ELT juga mendukung proses data lake yang menerapkan skema, atau model transformasi, pada saat data dibaca atau dianalisis — pendekatan yang disebut schema-on-read. Proses efisien ini menghadirkan fleksibilitas dalam menangani data berskala besar.

Operasi berkelanjutan sangat ideal bagi lingkungan yang membutuhkan akses cepat terhadap data. ELT sangat sesuai untuk data yang digunakan di lingkungan cloud, yang sering kali mencakup aplikasi dengan akses berdasarkan permintaan secara berkelanjutan. Selain itu, transformasi ELT cloud-native menghadirkan skalabilitas dan fleksibilitas sebagaimana disebutkan di atas.

Organisasi dapat memilih untuk bertransisi dari arsitektur ETL ke ELT. Alasan transisi dapat berupa perubahan pada penggunaan produk atau layanan sehingga dibutuhkan respons dan interaksi real-time, atau karena jumlah data telah berkembang secara eksponensial sehingga transformasi menghambat tahap Muat akibat tuntutan pemrosesan bervolume tinggi pada infrastruktur. Organisasi juga dapat bertransisi dari ETL ke ELT apabila telah berpindah ke cloud dan ingin mengalihkan beban pemrosesan atau memanfaatkan data di lokasi tujuan dengan lebih cepat.

Dalam skenario transisi, wajar untuk mengantisipasi adanya tantangan. Yang paling utama, logika dan kode yang digunakan ELT dan ETL sangat berbeda. Hal ini dapat menuntut konfigurasi ulang menyeluruh serta kemungkinan kebutuhan infrastruktur baru atau penyedia baru dengan infrastruktur berbasis cloud. Selain itu, pada ELT, data mentah dikirim langsung ke gudang tujuan. Oleh sebab itu, keamanan menjadi pertimbangan penting dan harus diterapkan untuk menjaga keamanan data.

ELT bukanlah teknologi baru. Tabel staging sebelumnya digunakan untuk memindahkan data ke dalam gudang data agar dapat diproses dan ditransformasi, sering kali menggunakan skrip SQL. Skrip SQL ditulis secara permanen sehingga rentan terhadap kesalahan pengodean. Seiring penggunaan SQL, pelanggan harus memilih antara eksekusi gudang data secara native menggunakan skrip SQL dan pemrograman deklaratif, atau disebut juga penulisan deklaratif. Penulisan deklaratif menghadirkan manfaat dari lingkungan gudang data berbasis cloud yang lebih modern melalui penulisan kode yang menjelaskan hasil yang harus dicapai program alih-alih cara program mencapainya. Proses ini membantu mencegah kesalahan pengodean yang melekat pada proses lain, terutama ketika transformasi dilakukan sebelum fungsi Muat.

ELT umumnya digunakan di lingkungan dengan penggunaan data bervolume tinggi atau berbasis real-time. Beberapa contoh spesifiknya:

• Organisasi yang membutuhkan akses instan. Contohnya adalah bursa saham atau distributor grosir berskala besar untuk stok barang, komponen industri, dan bahan lainnya, yang membutuhkan akses waktu nyata terhadap data terkini guna memperoleh intelijen bisnis secara langsung.
• Organisasi dengan volume data yang sangat besar. Contohnya meliputi sistem meteorologi seperti layanan cuaca yang mengumpulkan, menyusun, dan menggunakan data dalam jumlah besar secara rutin. Perusahaan dengan volume transaksi besar juga dapat termasuk dalam kategori ini. Demikian pula organisasi seperti laboratorium astronomi dengan teleskop berskala besar yang menghasilkan data dalam jumlah sangat besar yang perlu disusun dan dianalisis. Kedua kategori tersebut dapat saling tumpang tindih karena banyak industri yang menghasilkan dan menggunakan data dalam jumlah besar sekaligus membutuhkan akses waktu nyata terhadap data tersebut.