Apa itu streaming peristiwa?

Sebagai fungsi utama dalam pemrosesan streaming peristiwa (ESP), streaming peristiwa memungkinkan infrastruktur TI untuk menangani streaming peristiwa yang besar dan terus menerus dengan memproses data saat peristiwa atau perubahan terjadi. Streaming peristiwa berbeda dari pemrosesan streaming. Streaming peristiwa menyediakan infrastruktur yang memindahkan dan menyimpan peristiwa. Pemrosesan aliran data dapat menerapkan penyaringan, agregasi, atau pengayaan pada peristiwa-peristiwa tersebut.

Streaming peristiwa sering kali melengkapi pemrosesan batch, yang bekerja pada kumpulan data statis yang besar (atau “data yang tidak aktif”). Namun, alih-alih memproses data dalam batch, streaming peristiwa dapat menangani data yang tidak terbatas saat data tersebut tiba. Pendekatan ini memungkinkan perangkat lunak dalam arsitektur untuk menginterpretasikan dan merespons aliran data (“data bergerak”) secara real time.

Layanan streaming peristiwa berkinerja tinggi dapat mendukung berbagai tugas, mulai dari fungsi sederhana seperti mengirim pemberitahuan saat stok atau harga produk berubah hingga beban kerja yang lebih kompleks. Layanan ini juga dapat mendukung AI dan model machine learning real-time yang mendeteksi aktivitas pengguna yang mencurigakan. 

Bahkan dalam kasus pemrosesan batch, streaming peristiwa dapat menambah kedalaman analisis data dengan menghubungkan peristiwa dengan stempel waktu masing-masing. Hal ini juga membantu mengidentifikasi tren historis, memberikan insight yang berharga dari waktu ke waktu.

Streaming peristiwa berkisar pada aliran data catatan yang berkelanjutan dan berpotensi tidak terbatas, yang disebut "peristiwa," struktur data dasar yang mencatat kejadian apa pun di sistem atau lingkungan. Peristiwa adalah catatan yang tidak dapat diubah bahwa sesuatu terjadi (seperti pesanan dilakukan atau pembayaran yang diotorisasi.) “Streaming” (juga disebut streaming data atau data streaming) adalah pengiriman berkelanjutan dari peristiwa tersebut.

Setiap peristiwa biasanya terdiri dari kunci yang mengidentifikasi peristiwa atau entitas yang berkaitan dengannya, bersama dengan nilai yang menyimpan data aktual dari peristiwa tersebut. Selain itu, nilai ini termasuk stempel waktu yang menunjukkan kapan peristiwa terjadi atau direkam dan terkadang metadata tentang sumber data, versi skema, atau atribut lainnya.

Dengan bantuan mesin pengolah stream khusus, peristiwa dapat mengalami beberapa proses berbeda dalam streaming. “Agregasi” melakukan perhitungan data, seperti rata-rata, jumlah, dan standar deviasi. “Penyerapan” menambahkan data streaming ke basis data. Pemrosesan analisis menggunakan pola dalam data streaming untuk memprediksi peristiwa di masa depan, dan pemrosesan pengayaan menggabungkan titik data dengan sumber data lain untuk memberikan konteks dan menciptakan makna.

Ketika organisasi menghasilkan data peristiwa dalam jumlah besar, mereka mungkin menggunakan analitik real-time untuk mengidentifikasi pola, anomali, dan tren saat muncul. AI membangun wawasan ini dengan mendeteksi hubungan kompleks dalam event streams, sehingga menghasilkan prediksi dan merekomendasikan tindakan.

Kemampuan ini menjadi prasyarat untuk sistem AI: Menurut IDC, 80% contoh penggunaan AI agen memerlukan data real time, kontekstual, dan dapat diakses secara luas. Apakah mendukung analitik, AI, atau alur kerja otomatis, sistem ini bergantung pada aliran peristiwa berkelanjutan yang mewakili aktivitas di seluruh organisasi.

Peristiwa terkait dengan operasi bisnis atau proses navigasi pengguna dan biasanya memicu tindakan, proses, atau rangkaian peristiwa lain. Ambil perbankan online, sebagai contohnya. Ketika pengguna mengklik "transfer" untuk mengirim uang dari satu rekening bank ke rekening bank lain, dana ditarik dari rekening pengirim dan ditambahkan ke rekening bank penerima, pemberitahuan email atau SMS dikirim ke salah satu (atau kedua) pihak, dan jika perlu, protokol keamanan dan pencegahan penipuan diterapkan.

Acara adalah komponen utama dari streaming acara. Namun, satu set komponen lain memungkinkan layanan streaming untuk memproses acara secepat dan efektif seperti yang mereka lakukan. Komponen vital lainnya meliputi:

Broker menerima peristiwa dari produsen, mengorganisir dan menyimpannya, serta membuatnya tersedia bagi para konsumen. Dengan melayani sebagai perantara, broker memungkinkan produsen dan konsumen untuk berkomunikasi tanpa koneksi langsung, sehingga masing-masing dari mereka dapat beroperasi dan meningkatkan skala secara independen. 

Dalam sistem streaming peristiwa terdistribusi, broker memastikan latensi rendah dan ketersediaan tinggi dengan mereplikasi peristiwa di beberapa node. Broker juga dapat membentuk klaster—kumpulan broker yang bekerja sama untuk penyeimbangan beban dan skalabilitas yang lebih mudah.

Topik adalah kategorisasi atau nama feed yang digunakan untuk mempublikasikan peristiwa, yang menyediakan cara untuk mengatur dan memfilter peristiwa di dalam platform. Topik bertindak sebagai "subjek" untuk peristiwa, sehingga konsumen dapat berlangganan topik dan hanya menerima peristiwa yang relevan.

Topik dapat dibagi lebih lanjut ke dalam beberapa partisi, sehingga beberapa konsumen dapat membaca dari sebuah topik secara bersamaan tanpa mengganggu urutan setiap partisi.

Offset adalah pengenal unik untuk setiap peristiwa dalam partisi, yang menandai posisi peristiwa dalam urutan. Konsumen menggunakan offset untuk mengatur peristiwa yang telah mereka proses. Jika, misalnya, konsumen memutuskan koneksi dari sebuah peristiwa dan kemudian menyambung kembali, maka acara tersebut dapat melanjutkan pemrosesan dari offset terakhir yang diketahui.

Mengingat proliferasi data—dan lonjakan lalu lintas data yang diakibatkan—streaming acara merupakan komponen penting dari arsitektur data modern. Ini sangat berharga di lingkungan yang membutuhkan kemampuan pengambilan keputusan secepat kilat atau dalam organisasi yang bertujuan untuk mengotomatiskan tanggung jawab pengambilan keputusan.

Berikut cara layanan streaming peristiwa mengelola data peristiwa:

1. Pembuatan peristiwa. Streaming peristiwa dimulai ketika produsen (sistem backend layanan mikro, ekosistem IoT, atau API berbasis peristiwa, misalnya) mengirim peristiwa ke platform streaming peristiwa.
   
   
2. Penerbitan peristiwa. Dengan menggunakan pustaka klien, produsen menerbitkan peristiwa ke topik tertentu dalam platform, yang kemudian peristiwa tersebut tersedia bagi konsumen (aplikasi dan layanan yang berlangganan topik tersebut).
   
   
3. Penyimpanan peristiwa. Platform ini menyimpan peristiwa untuk periode yang telah ditentukan, dengan broker yang mengelola proses penyimpanan dan pengambilan peristiwa.
   
   
4. Konsumsi peristiwa. Konsumen memproses data peristiwa untuk memulai peristiwa lainnya. Bergantung pada tujuan atau konfigurasinya, mereka dapat menindaklanjuti peristiwa segera setelah peristiwa itu tiba (pemrosesan waktu nyata), menyimpannya untuk diproses nanti, atau mengkompilasinya untuk pemrosesan batch. Konsumen juga dapat melacak posisi mereka dalam pipeline data dengan menggunakan offset, sehingga mereka dapat melanjutkan pemrosesan dari titik terakhir mereka, jika terjadi kegagalan atau restart.
   
   
5. Pengiriman peristiwa. Broker peristiwa menyediakan peristiwa untuk konsumen. Mungkin ada jaminan untuk pengiriman peristiwa dengan kata “setidaknya sekali”, yang akan memastikan bahwa setiap peristiwa mencapai tujuannya, bahkan jika duplikat terjadi. Proses ini juga dapat mencakup pengiriman “tepat sekali”, yang memastikan setiap peristiwa disampaikan sekali dan hanya sekali atau jenis semantik lainnya.
   
   
6. Pemrosesan peristiwa. Setelah peristiwa awal dikonsumsi dan dikirim, data peristiwa diproses untuk beberapa tindakan hilir, termasuk mengubah data, mengumpulkannya, dan memicu alur kerja pemrosesan peristiwa kompleks (CEP). Organisasi biasanya menggunakan teknologi pemrosesan streaming seperti Apache Flink, Apache Spark Structured Streaming, dan Kafka Streams untuk melakukan operasi ini secara real time di seluruh sistem berbasis peristiwa terdistribusi. Streaming data real-time yang dihasilkan juga dapat menyediakan aliran data berkelanjutan yang digunakan sistem AI untuk mendukung pengambilan keputusan real-time.

Streaming peristiwa biasanya diimplementasikan sebagai arsitektur terdistribusi yang dirancang untuk mengambil, menyimpan, memproses, dan mendistribusikan streaming data peristiwa yang berkelanjutan di beberapa sistem. Alih-alih mengandalkan koneksi titik demi titik langsung, arsitektur streaming peristiwa menggunakan infrastruktur bersama yang memisahkan produsen data dari konsumen, sehingga aplikasi dapat diskalakan secara independen dan bertukar informasi secara real time. Beberapa komponen arsitektur inti memungkinkan kerangka kerja ini:

Komponen kunci dari sebagian besar arsitektur streaming peristiwa adalah broker peristiwa, yang bertindak sebagai tulang punggung yang tahan lama dan dapat diskalakan untuk data peristiwa. Peristiwa ditulis ke topik dalam log terdistribusi, tempat peristiwa ini disimpan dalam urutan penerimaannya dan tetap tersedia untuk digunakan nanti.

Arsitektur ini memungkinkan beberapa aplikasi untuk secara independen mengakses event stream yang sama tanpa memerlukan integrasi langsung dengan sistem yang menghasilkan data. Teknologi seperti Apache Kafka, Amazon Kinesis, dan Apache Pulsar biasanya menyediakan kemampuan ini.

Untuk mendukung beban kerja skala besar, event streams biasanya diatur ke dalam topik dan dibagi menjadi partisi yang dapat didistribusikan di beberapa server. Partisi memungkinkan pemrosesan paralel dan hasil yang lebih tinggi, sementara replikasi membuat salinan data di berbagai node untuk meningkatkan toleransi kesalahan dan ketersediaan ketika komponen individual gagal.

Arsitektur streaming peristiwa memisahkan sistem yang menghasilkan data dari sistem yang menggunakannya. Produsen mempublikasikan peristiwa ke topik, sementara konsumen berlangganan topik tersebut dan memproses peristiwa secara independen. Desain terpisah ini memungkinkan aplikasi dan layanan baru ditambahkan tanpa memodifikasi sistem yang menghasilkan data.

Banyak arsitektur streaming peristiwa menyertakan lapisan pemrosesan aliran yang menganalisis dan mengubah peristiwa saat mereka bergerak melalui sistem. Teknologi pemrosesan streaming umum termasuk Apache Flink, Kafka Streams, ksqlDB, dan Apache Spark Structured Streaming. Teknologi ini mendukung operasi seperti penyaringan, pengayaan, gabungan, dan agregasi pada data yang terus datang.

Beberapa beban kerja streaming memerlukan aplikasi untuk menyimpan informasi tentang peristiwa masa lalu. Misalnya, platform e-commerce dapat menganalisis semua pembelian yang dilakukan selama satu jam terakhir untuk mengidentifikasi produk yang sedang tren dan memperbarui rekomendasi dalam nyaris seketika. Manajemen status memungkinkan sistem untuk menyimpan dan memperbarui informasi ini dari waktu ke waktu, sementara penetapan periode mengatur streaming data berkelanjutan ke dalam interval berbasis waktu atau berbasis peristiwa untuk dianalisis.

Arsitektur streaming peristiwa biasanya mencakup mekanisme yang membantu mencegah kehilangan data dan mendukung pemulihan dari kegagalan. Tergantung pada persyaratan aplikasi, sistem dapat memberikan jaminan pemrosesan paling banyak sekali, setidaknya sekali, atau tepat sekali. Checkpoint, replikasi, dan pelacakan penyeimbangan konsumen membantu menjaga konsistensi data selama gangguan atau mulai ulang sistem.

Peristiwa yang diproses biasanya dikirim ke tujuan hilir seperti basis data, gudang data, data lake, indeks pencarian, sistem machine learning, atau event streams lainnya. Integrasi ini memungkinkan data peristiwa untuk mendukung analitik real-time, aplikasi operasional, alur kerja otomatisasi, dan aplikasi AI.

Selain streaming dan pemrosesan standar, platform streaming peristiwa seperti Amazon Kinesis, Google Cloud Pub/Sub, Azure Event Hubs, dan IBM Event Automation, memfasilitasi berbagai praktik streaming yang meningkatkan fungsionalitas. IBM Event Automation, khususnya, menggunakan kekuatan pemrosesan platform sumber terbuka Apache Kafka untuk mengoptimalkan alur kerja yang digerakkan oleh peristiwa. Kemampuan ini juga membantu organisasi memberikan pipeline data real-time yang bergantung pada analitik dan sistem AI.

Pengolahan tepat sekali berarti bahwa setiap peristiwa dalam sebuah aliran diproses tepat sekali, sebuah fitur penting untuk mencegah duplikasi dan peristiwa aliran yang hilang. Sebagian besar sistem streaming peristiwa menyertakan mekanisme untuk menyediakan semantik tepat sekali, terlepas dari kegagalan di tempat lain dalam sistem.

Ketika komponen hilir tidak dapat mengimbangi laju peristiwa yang masuk, tekanan balik mencegah streaming membanjiri sistem. Dengan tekanan balik, sebuah mekanisme kontrol aliran data, konsumen dapat memberi sinyal kepada produsen untuk mengurangi atau menghentikan produksi data ketika mereka kewalahan dalam memproses data atau tidak dapat mengikuti peristiwa yang masuk.

Proses ini memungkinkan sistem menangani beban kerja dengan anggun dengan menyangga atau menjatuhkan peristiwa masuk—alih-alih mengganggu seluruh sistem—sehingga pemrosesan peristiwa tetap stabil saat beban kerja berfluktuasi.

Konsumen peristiwa sering kali bekerja sebagai bagian dari kelompok konsumen untuk mempercepat konsumsi peristiwa. Setiap konsumen dalam kelompok konsumen diberi kumpulan partisi, sehingga konsumsi dapat diparalelkan demi efisiensi yang lebih baik. Jika satu konsumen dalam grup gagal atau perlu ditambahkan atau dihapus, platform dapat secara dinamis menetapkan kembali partisi untuk menjaga keseimbangan dan toleransi kesalahan.

Streaming peristiwa sering berarti memproses data dengan cara yang sensitif terhadap waktu. Tanda air adalah perkiraan sistem seberapa jauh waktu peristiwa telah berjalan. Penandaan air ini menerapkan ambang batas kelengkapan yang menunjukkan kapan sistem dapat mempertimbangkan data peristiwa telah diproses sepenuhnya. Penandaan air juga dapat berguna untuk memastikan akurasi dalam pemrosesan berbasis waktu dan untuk merekonsiliasi peristiwa yang tidak berurutan.

Sebagian besar platform streaming peristiwa menawarkan kebijakan retensi data yang dapat disesuaikan yang memungkinkan pengembang mengontrol berapa lama peristiwa tersedia untuk dikonsumsi. Pemadatan data, sementara itu, adalah proses yang menghapus data yang redundan atau usang dari topik, menjaga jejak penyimpanan tetap minimal sambil mempertahankan data penting.

Penting untuk dicatat, sekali lagi, bahwa arsitektur streaming standar biasanya memisahkan produsen peristiwa, perantara peristiwa, dan konsumen sehingga komponen dapat diskalakan dan dipelihara secara independen. Fleksibilitas ini memungkinkan perusahaan untuk mendukung banyak aplikasi hilir, termasuk analitik real-time, pengambilan keputusan yang didukung AI, dan alur kerja otomatis. Fleksibilitas ini memungkinkan perusahaan untuk mendukung banyak aplikasi hilir, termasuk analitik real-time, pengambilan keputusan yang didukung AI, dan alur kerja otomatis.

Perbedaan antara streaming peristiwa dan pemrosesan batch adalah bahwa streaming peristiwa menangani data secara terus menerus saat peristiwa terjadi, sementara pemrosesan batch memproses akumulasi data secara berkala atau ketika dipicu.

Streaming peristiwa dan pemrosesan batch memindahkan dan memproses data, tetapi keduanya berbeda terutama dalam kapan dan bagaimana data ditangani. Streaming peristiwa terus menangkap dan mengangkut peristiwa dari sumber seperti aplikasi, basis data, dan perangkat IoT saat peristiwa tersebut terjadi. Alih-alih menunggu kumpulan data, sistem menangani peristiwa individu atau kelompok kecil peristiwa saat mereka tiba, mendukung analisis dan respons latensi rendah.

Pendekatan ini sangat cocok untuk contoh penggunaan dengan nilai data yang tergantung pada kesegarannya. Contohnya termasuk deteksi penipuan, pemantauan operasional, rekomendasi real-time, serta sistem AI yang mengandalkan informasi terkini.

Pemrosesan batch mengumpulkan data selama periode yang ditentukan dan memprosesnya bersama-sama sebagai beban kerja diskrit. Karena hasil tidak perlu segera dihasilkan, pemrosesan batch sesuai untuk tugas-tugas seperti menghasilkan laporan harian, merekonsiliasi akun, atau memperbarui dasbor analitik.

Selain itu, kedua pendekatan ini saling melengkapi daripada saling eksklusif: organisasi mungkin menggunakan streaming peristiwa untuk mendeteksi dan menanggapi aktivitas saat itu terjadi, kemudian menggunakan pemrosesan batch untuk melakukan analisis historis komprehensif pada data yang terakumulasi.

Streaming peristiwa merupakan konsep penting yang memungkinkan organisasi menggunakan data saat data tersebut dihasilkan, sehingga menciptakan sistem yang lebih responsif dan cerdas. Dengan meningkatnya pengambilan keputusan berbasis data, streaming peristiwa menjadi komponen yang makin penting dalam arsitektur perangkat lunak modern.

Oleh karena itu, teknologi streaming acara memiliki berbagai contoh penggunaan di seluruh sektor bisnis, termasuk:

Di luar industri yang spesifik, streaming peristiwa juga dapat berguna ketika digunakan bersama dengan teknologi dan arsitektur lainnya. Misalnya, streaming peristiwa terkadang dikaitkan dengan pola seperti sumber peristiwa dan pemisahan tanggung jawab kueri perintah (CQRS).

Pencarian peristiwa adalah pola arsitektur di mana perubahan status aplikasi disimpan sebagai urutan peristiwa. Digunakan bersama event streams, pencarian peristiwa memungkinkan sistem streaming untuk memutar ulang peristiwa. Kemampuan ini dapat merekonstruksi keadaan suatu entitas pada titik waktu mana pun atau menggerakkan komponen sistem lainnya.

Dalam pola arsitektur CQRS, sistem dibagi menjadi dua model yang berbeda: satu yang menangani perintah (menulis) dan satu lagi yang menangani kueri (membaca). Streaming peristiwa dapat digunakan dalam CQRS untuk menyebarkan perubahan dari model tulis ke model baca secara real time, sehingga memungkinkan integrasi asinkron di antara keduanya.

Streaming peristiwa juga merupakan teknologi dasar untuk membangun arsitektur berbasis peristiwa. Arsitektur berbasis peristiwa memungkinkan komponen yang terhubung secara longgar untuk berkomunikasi melalui peristiwa. Alih-alih menerbitkan streaming peristiwa ke broker, arsitektur ini menerbitkan peristiwa tujuan tunggal yang dapat digunakan aplikasi atau layanan lain untuk melakukan tindakan secara bergantian.

Kekuatan pemrosesan dalam streaming yang disediakan oleh arsitektur berbasis peristiwa digunakan bersama dengan kemampuan streaming peristiwa dapat memungkinkan bisnis untuk merespons data yang bergerak dan membuat keputusan cepat berdasarkan data saat ini dan historis. Responsivitas real-time ini juga mendukung analitik dan aplikasi AI yang bergantung pada data yang terus diperbarui.

Dalam beberapa tahun terakhir, penyedia cloud telah mulai menawarkan prinsip-prinsip streaming peristiwa sebagai layanan. Layanan streaming peristiwa memudahkan bisnis untuk mengadopsi streaming peristiwa tanpa mengelola seluruh infrastruktur yang mendasarinya, sehingga makin memperluas contoh penggunaan streaming peristiwa.