Apa itu penangkapan perubahan data?

Penangkapan perubahan data, atau CDC, adalah teknik untuk mengidentifikasi dan mencatat perubahan data dalam database. CDC menyampaikan perubahan ini secara real-time ke berbagai sistem target, yang memungkinkan sinkronisasi data di seluruh organisasi segera setelah perubahan database terjadi.

Pengangkapan perubahan data adalah metode integrasi data real-time, yang berfungsi untuk menggabungkan dan menyelaraskan data yang mungkin tersilo atau tidak konsisten di seluruh organisasi. Metode lain termasuk integrasi data aliran, virtualisasi data dan integrasi aplikasi.

Kemampuan CDC untuk menjaga sistem tetap up to date secara real-time (dan dengan latensi rendah) berperan penting bagi keberhasilan analisis data real-time, migrasi cloud, dan bahkan model AI. Ini memiliki berbagai contoh penggunaan di seluruh sektor, dari retail hingga keuangan hingga perawatan kesehatan, membantu deteksi penipuan, manajemen rantai pasokan, dan kepatuhan terhadap peraturan.

Ada beberapa pendekatan untuk penangkapan perubahan data, dengan CDC berbasis log, CDC berbasis stempel waktu, dan CDC berbasis pemicu sebagai yang paling umum. Perusahaan dapat menerapkan penangkapan perubahan data melalui alat database-native, sumber terbuka, dan solusi pihak ketiga.

Dalam manajemen data modern, penangkapan perubahan data telah muncul sebagai mekanisme rekayasa data yang penting. Lingkungan data perusahaan saat ini semakin besar dan kompleks. Mereka mungkin mengandung data dari perangkat Internet of Things (IoT), basis data terdistribusi, aplikasi, dan sumber-sumber lain yang beragam. Mempertahankan data yang konsisten dan berkualitas di seluruh ekosistem data yang berkembang ini merupakan tantangan berkelanjutan.

Pada saat yang sama, bisnis membutuhkan informasi yang akurat dan terkini yang dapat dimanfaatkan untuk pengambilan keputusan secara waktu-nyata. Penangkapan perubahan data adalah salah satu dari beberapa metode yang membantu organisasi memenuhi permintaan ini.

Penangkapan perubahan data memungkinkan alur data latensi rendah yang memberikan data baru dengan cara yang lebih efisien dan tidak terlalu intensif sumber daya daripada metode integrasi data lainnya. Misalnya, replikasi data memerlukan penyalinan kumpulan data lengkap. Sebaliknya, CDC hanya mengirimkan data yang telah berubah, sehingga mengurangi beban pada sistem sumber, lalu lintas jaringan, dan permintaan daya komputasi.

Hal ini membantu mereka mengakses informasi terbaru dan paling akurat dengan cepat dan efisien, yang menghasilkan berbagai manfaat, termasuk:

Aliran perubahan data real-time memungkinkan analitik data real-time dan intelijen bisnis. Dengan kemampuan ini, bisnis dapat mendukung tuntutan lingkungan bisnis 24/7 yang sensitif terhadap waktu saat ini.

Selama migrasi cloud, CDC dengan cepat mengirimkan perubahan data yang terjadi on premises ke tabel data berbasis cloud yang relevan, memastikan konsistensi antara kedua lingkungan. Kemampuan ini juga meminimalkan waktu henti sistem selama migrasi.

Pipeline dataETL (ekstrak, ubah, muat) merupakan bagian integral dari analitik data dan alur kerja machine learning. Tetapi eksekusi ETL, yang bergantung pada pemrosesan batch, cenderung bergerak lambat dan membebani sumber daya. Mengintegrasikan CDC ke ETL dapat mengoptimalkan penggunaan sumber daya dan mempercepat pergerakan data.

Menerapkan penangkapan perubahan data dapat membantu memastikan data sumber model terbaru sehingga model bahasa besar (LLM) dapat memberikan output yang akurat dan tepat waktu. Misalnya, dalam contoh penggunaan generasi dengan dukungan pengambilan data (RAG), model AI terhubung dengan basis pengetahuan eksternal untuk respons yang lebih relevan.

Penangkapan perubahan data mengidentifikasi dan mencatat peristiwa perubahan yang terjadi di berbagai sumber data. Sumber-sumber ini dapat mencakup database relasional seperti Oracle, PostgreSQL, MySQL, Microsoft Azure SQL, Microsoft SQL Server, serta basis data non-relasional (NoSQL) seperti Apache Cassandra dan MongoDB.

Setelah perubahan diidentifikasi, perubahan tersebut ditransfer dari database sumber secara real time atau nyaris seketika ke sistem target. Penyimpanan data seperti data lake dan gudang data; analitik real-time dan platform data streaming seperti Apache Kafka dan Apache Spark; dan solusi ETL (ekstrak, ubah, muat) serta ELT (ekstrak, muat, ubah) adalah semua contoh sistem target.

Penangkapan perubahan data dapat dipicu oleh sistem target (yang dikenal sebagai pendekatan “dorong”) atau sistem sumber (pendekatan “tarik”). Untuk yang pertama, sistem sumber “dorong” atau mengirim perubahan ke sistem target. Untuk yang kedua, sistem target secara teratur mensurvei sistem sumber dan “menarik” perubahan jika ditemukan.

Ada beberapa metode untuk mengeksekusi penangkapan perubahan data. Jenis CDC yang umum meliputi: 

• CDC berbasis log
• CDC berbasis stempel waktu
• CDC berbasis pemicu

Log transaksi database adalah fitur standar database dan digunakan untuk mencatat semua transaksi database. (File log transaksi dapat digunakan untuk memulihkan database jika terjadi kegagalan sistem.)

Dalam CDC berbasis log, aplikasi CDC memproses perubahan database yang tercatat dalam log dan membagikan pembaruan tersebut ke sistem lain. CDC berbasis log semakin populer, sebagian karena ketergantungannya pada log daripada kueri yang mungkin menurunkan kinerja sistem sumber. Namun, variasi dalam format log transaksi dapat mempersulit eksekusi CDC berbasis log di berbagai database.

Penangkapan perubahan data berbasis stempel waktu, yang juga dikenal sebagai CDC berbasis kueri, memerlukan skema tabel basis data memiliki kolom-kolom, seperti kolom stempel waktu, yang mencatat tanggal dan waktu perubahan catatan. Alat CDC dapat digunakan untuk mengidentifikasi catatan yang telah diubah melalui kolom stempel waktu dalam tabel sumber, dan kemudian mengirimkan pembaruan ke sistem tujuan.

Meskipun CDC berbasis stempel waktu dapat mudah diimplementasikan, hal ini juga dapat menimbulkan beban tambahan pada sistem ketika proses pengambilan data stempel waktu dilakukan secara berkala. CDC berbasis stempel waktu juga gagal menangkap operasi penghapusan ketika stempel waktu dihapus bersama dengan sisa baris.

Dalam penangkapan perubahan data berbasis pemicu, prosedur penyimpanan atau fungsi yang dikenal sebagai pemicu database dieksekusi sekali ketika perubahan tertentu (seperti penambahan, penghapusan, dan pembaruan) terjadi dalam basis data. Data yang diubah kemudian disimpan dalam apa yang sering disebut tabel perubahan atau tabel bayangan.

Seperti CDC berbasis stempel waktu, CDC berbasis pemicu dapat mudah diterapkan. Namun, hal ini juga dapat membebani sistem sumber karena pemicu akan “dijalankan” setiap kali transaksi terjadi di tabel sumber.

Alat yang melakukan penangkapan perubahan data dapat menjadi bagian bawaan dari lingkungan atau sistem database tertentu, seperti AWS Database Migration Service, atau dapat diimplementasikan secara lebih luas. Solusi perangkat lunak penangkapan perubahan data non-native mencakup platform sumber terbuka seperti Debezium dan platform komersial seperti IBM Streamsets dan Oracle GoldenGate.

Ketika perusahaan mempertimbangkan solusi mana yang harus dipilih, mereka dapat mempertimbangkan faktor-faktor seperti harga, konektor ke sistem sumber dan target, dan antarmuka pemrograman aplikasi (API) untuk integrasi sistem.

Bisnis dapat menerapkan penangkapan perubahan data untuk berbagai kegunaan, termasuk: