Apa itu streaming data?

Data streaming, didefinisikan

Streaming data adalah aliran berkelanjutan dari data real-time atau data yang nyaris seketika dari berbagai sumber. Tidak seperti pemrosesan batch, yang memproses data pada interval terjadwal, streaming data diproses saat data tersebut tiba untuk mendapatkan wawasan real-time secara langsung.

Organisasi menggunakan streaming data untuk mendukung contoh penggunaan berbasis peristiwa yang mengandalkan data tepat waktu untuk pengambilan keputusan berbasis data yang cepat, seperti analisis data dan intelijen bisnis (BI).

Streaming data umumnya digunakan dalam arsitektur data modern dan sistem analitik real-time. Misalnya, organisasi menganalisis aliran data berkelanjutan menggunakan kerangka kerja pemrosesan aliran untuk mendapatkan wawasan tentang efisiensi operasional, tren konsumen, dan perubahan kondisi pasar.

Karena dihasilkan secara terus-menerus, data streaming memerlukan arsitektur yang dirancang untuk mendukung proses ingesti dan pemrosesan data secara berkelanjutan. Arsitektur ini biasanya mencakup arsitektur streaming yang dapat diskalakan dan pemroses stream yang menangani penyerapan data, transformasi, serta analisis data secara real-time, sekaligus menjaga kinerja dan keandalan tetap optimal.

Apa saja karakteristik data streaming?

Streaming data dapat dicirikan oleh sifat-sifat berikut:

  • Tidak terbatas: Data mengalir terus menerus tanpa akhir yang ditentukan
  • Heterogen: Berasal dari beragam sumber dan mungkin memiliki format dan skema yang bervariasi
  • Kecepatan tinggi: Ini dihasilkan dan diproses pada kecepatan yang sangat tinggi
  • Volume tinggi: Ini memiliki aliran peristiwa kecil yang terus menerus, yang dapat terakumulasi menjadi kumpulan data yang sangat besar
  • Unik: Setiap catatan biasanya mewakili peristiwa yang terjadi pada titik waktu tertentu
  • Bersifat sensitif terhadap waktu: Nilainya seringkali menurun seiring bertambahnya usia
  • Tidak sempurna: Ini dapat mencakup kesalahan, kesenjangan, inkonsistensi, atau peristiwa yang tidak teratur

Karena data streaming bersifat kontinu, bergerak cepat, dan sering bergejolak, mengelolanya memerlukan platform streaming khusus. Apache Kafka adalah salah satu platform yang biasa digunakan untuk mendukung arsitektur pemrosesan aliran yang dapat diskalakan dan toleran kesalahan.

Apa contoh umum dari data streaming?

Tidak seperti data tradisional yang disimpan dalam spreadsheet dan diproses pada interval batch yang dapat diprediksi, data streaming adalah aliran informasi real-time yang berkelanjutan. Contoh umum meliputi:

  • Data pasar keuangan dari bursa saham dan platform perdagangan
  • IoT dan pembacaan sensor dari peralatan dan perangkat pintar
  • Aliran aktivitas media sosial dari platform seperti X, Instagram dan TikTok
  • Data clickstream situs web dari situs e-commerce dan media
  • Log aplikasi dan data telemetri dari platform cloud dan layanan mikro
  • GPS dan data pelacakan lokasi dari armada pengiriman dan layanan rideshare

Sumber data streaming inilah yang memungkinkan organisasi untuk memantau peristiwa secara real time, merespons dengan cepat terhadap perubahan kondisi dan membuat keputusan berbasis data yang lebih cepat.

Mengapa data streaming itu penting?

Organisasi saat ini menghasilkan volume data real-time yang tinggi  dari perangkat Internet of Things (IoT), transaksi e-commerce, aplikasi SaaS, dan layanan digital. Streaming data memungkinkan organisasi memanfaatkan wawasan dari peristiwa ini saat terjadi, daripada menunggu laporan terjadwal atau siklus pemrosesan batch—ketika data mungkin terlalu basi untuk ditindaklanjuti secara efektif.

Perusahaan dapat menggunakan data streaming untuk segera mendeteksi masalah, terus memantau kinerja, dan menanggapi peristiwa pada saat itu. Visibilitas dan daya tanggap yang lebih besar ini mendukung pengambilan keputusan yang lebih cepat di bidang-bidang seperti deteksi penipuan, keamanan siber, manajemen rantai pasokan, pengalaman pelanggan, dan operasi TI.

Dalam beberapa tahun terakhir, kebangkitan kecerdasan buatan (AI) dan machine learning (ML) semakin meningkatkan pentingnya kemampuan streaming data. Banyak alur kerja otomatis yang digerakkan oleh peristiwa sering kali mengandalkan pemrosesan streaming data untuk menghasilkan wawasan, prediksi, dan tindakan real-time.

Streaming data dan AI/ML

Streaming data adalah input inti untuk analitik big data modern dan sistem berbasis AI.

Meningkatnya adopsi kecerdasan buatan kian memperkuat pentingnya data streaming real-time. Data mutakhir dan berkualitas tinggi sering kali merupakan bagian tak terpisahkan dari alur kerja AI dan ML. Menurut Gartner, 61% organisasi melaporkan harus mengembangkan atau memikirkan kembali model operasi data dan analitik mereka karena dampak teknologi AI.1

Sistem AI agen dapat memanfaatkan data streaming untuk mendukung pengambilan keputusan yang cepat dan otonom, seperti mengidentifikasi dan menanggapi ancaman keamanan siber atau menyesuaikan rute pengiriman dalam menanggapi kondisi lalu lintas.

Pemrosesan batch tradisional dari kumpulan data statis seringkali tidak cukup untuk contoh penggunaan AI real-time, karena tidak dapat memenuhi persyaratanlatensi rendah atau mengimbangi data yang berubah dengan cepat. Penundaan atau keterlambatan data dapat menyebabkan prediksi atau tindakan otomatis yang tidak lagi relevan atau tidak efektif.

Data streaming menyediakan aliran informasi secara berkelanjutan yang memungkinkan model dan aplikasi menghasilkan prediksi serta mengambil keputusan berdasarkan input terbaru. Data ini juga mendukung pipeline machine learning melalui pembaruan fitur secara tepat waktu, pelatihan ulang model, serta kemampuan merespons perubahan pola pada data yang mendasarinya dengan lebih baik.

Untuk semua manfaatnya, mengintegrasikan data streaming ke dalam alur kerja AI/ML memang menimbulkan beberapa tantangan. Volume tinggi, kualitas data variabel, dan format yang beragam seringkali membutuhkan perkakas dan infrastruktur khusus untuk mendukung secara efektif

Streaming data vs. pemrosesan batch

Organisasi dapat memproses data dengan dua cara utama: pemrosesan batch atau streaming data.

Meskipun kedua metode ini menangani volume data yang besar, tetapi keduanya melayani contoh penggunaan yang berbeda dan membutuhkan arsitektur yang berbeda.

Perbedaan utama meliputi:

  • Model pemrosesan: Pemrosesan batch mengumpulkan dan menganalisis kumpulan data dalam batch dengan interval yang tetap, sedangkan streaming data menggunakan alat pemrosesan data real-time untuk memproses data saat data tersebut tiba. Ini berarti sistem streaming dapat menghasilkan insight dan mengambil tindakan dengan segera, sementara sistem batch beroperasi pada jadwal berkala.

  • Kebutuhan infrastruktur: Sistem batch sering kali menggunakan penyimpanan data tradisional dan alat analisis seperti gudang data, sedangkan streaming membutuhkan kerangka kerja khusus dan platform streaming data yang dibangun untuk menangani aliran data real-time.

  • Persyaratan kinerja: Sistem batch dapat mengoptimalkan penggunaan sumber daya selama proses yang terjadwal, sedangkan pemrosesan streaming membutuhkan sistem yang toleran terhadap kesalahan dengan latensi rendah. Dengan kata lain, sistem streaming harus memproses data secara real-time tanpa penundaan, bahkan ketika volume data tinggi atau terjadi masalah.

Organisasi biasanya memilih antara pemrosesan batch dan stream berdasarkan volume data, kebutuhan latensi, dan tujuan bisnis. Banyak yang menggunakan kedua pendekatan tersebut dalam data fabric terpadu untuk menangani berbagai jenis tugas data.

Misalnya, sebuah organisasi e-commerce mungkin menggunakan pemrosesan batch untuk menghasilkan laporan penjualan harian sementara menggunakan data streaming dan sistem analitik real-time untuk memantau metrik situs web utama.  

AI Academy

Apakah manajemen data merupakan rahasia AI generatif?

Jelajahi mengapa data berkualitas tinggi sangat penting untuk keberhasilan penggunaan AI generatif.

Cara kerja data streaming

Pada tingkat yang tinggi, streaming data bekerja dengan cara menangkap, memproses, dan menganalisis aliran data secara real-time dari berbagai sumber secara terus-menerus. Proses ini terdiri dari empat tahap utama:

  • Penyerapan data
  • Pemrosesan stream
  • Analisis data
  • Penyimpanan data

Penyerapan data

Tahap pertama melibatkan pengambilan aliran data yang masuk dari berbagai sumber. Alat penyerapan data modern seperti Apache Kafka menyangga dan menstandarkan aliran ini saat tiba, yang membantu memastikan skalabilitas dan konsistensi data.

Organisasi biasanya mengintegrasikan alat bantu konsumsi data dengan komponen lain untuk menciptakan alur kerja terpadu. Alat integrasi data juga dapat menyelaraskan lebih lanjut jenis data yang berbeda ke dalam format standar untuk diproses guna membantu memastikan bahwa data dari berbagai sumber dapat digabungkan dan dianalisis secara efektif.

Pemrosesan stream

Pada tahap pemrosesan, kerangka kerja pemrosesan aliran seperti Apache Flink menganalisis dan mentransformasi data saat sedang bergerak. Kerangka kerja ini memungkinkan organisasi untuk:

  • Memproses peristiwa kompleks secara real-time

  • Melakukan agregasi data dalam skala besar, seperti menghitung rata-rata, menghitung kejadian, atau menjumlahkan nilai transaksi

  • Menerapkan transformasi—seperti memfilter, memperkaya, atau memformat data—saat data mengalir melalui pipeline data

Analisis data dan visualisasi

Di tahap ini, organisasi mendapatkan insight bisnis yang dapat ditindaklanjuti dari aliran data yang mengalir melalui visualisasi data dan alat analisis lainnya.

Aplikasi utama meliputi:

  • Dasbor waktu nyata yang menyajikan metrik dan KPI penting

  • Aplikasi operasional yang mengotomatiskan alur kerja dan mengoptimalkan proses

  • Model machine learning yang menganalisis pola untuk memprediksi hasil

Penyimpanan data

Ketika menyimpan data streaming, organisasi harus menyeimbangkan kebutuhan untuk mengakses data dengan cepat untuk penggunaan real-time dengan penyimpanan data jangka panjang, efisiensi biaya, dan masalah kepatuhan data.

Banyak organisasi menggunakan data lake dan data lake house untuk menyimpan data streaming karena solusi ini menawarkan lingkungan penyimpanan fleksibel yang murah untuk data dalam jumlah besar. Setelah data streaming ditangkap, data tersebut mungkin dikirim ke gudang data, di mana data tersebut dapat dibersihkan dan disiapkan untuk digunakan.  

Organisasi sering kali menerapkan beberapa solusi penyimpanan data bersama-sama dalam satu data fabric terpadu. Misalnya, lembaga keuangan mungkin menggunakan data lake untuk menyimpan aliran transaksi mentah sambil menggunakan gudang untuk analisis dan pelaporan.

Jenis streaming data

Organisasi dapat menggunakan berbagai jenis streaming data untuk mendukung analisis dan pengambilan keputusan secara real-time. Beberapa aliran streaming data yang paling umum meliputi:

Event streams

Event streams menangkap tindakan atau perubahan sistem saat terjadi, seperti panggilan antarmuka pemrograman aplikasi (API), klik situs web, atau entri log aplikasi. Event streams biasanya digunakan untuk melacak aktivitas real-time di seluruh sistem, sehingga memungkinkan respons instan terhadap interaksi pengguna atau peristiwa sistem.

Data transaksi real-time

Data transaksi real-time menangkap arus transaksi bisnis yang berkelanjutan, seperti pembayaran digital atau pembelian e-commerce. Data transaksi real-time mendukung aplikasi seperti deteksi penipuan dan pengambilan keputusan instan.

IoT dan data sensor

Data IoT dan sensor mencakup informasi tentang kondisi lingkungan, kinerja peralatan, dan proses fisik. Aliran data ini sering kali mendukung pemantauan peralatan secara real-time dan otomatisasi proses.

Contoh penggunaan data streaming di dunia nyata

Streaming data memungkinkan organisasi untuk memproses informasi real-time dalam jumlah besar untuk mendapatkan insight dan tindakan segera.

Penerapan umum meliputi:

Layanan keuangan

Institusi keuangan sering menggunakan streaming analytics untuk memproses data pasar, transaksi, dan interaksi pelanggan.

Misalnya, perusahaan kartu kredit mengandalkan streaming data untuk deteksi penipuan. Platform streaming data memungkinkan perusahaan-perusahaan ini menganalisis ribuan transaksi per detik untuk mendeteksi aktivitas yang tidak biasa dan menandai atau memblokir transaksi yang mencurigakan.

Sebagai studi kasus untuk ilustrasi: WealthAPI, sebuah perusahaan fintech, membangun platform analitik keuangannya berdasarkan arsitektur streaming berbasis peristiwa untuk menangani aliran data perbankan dan transaksi yang tidak konsisten secara terus-menerus dan secara real-time.

Data yang masuk disimpan dan didistribusikan melalui Google Publish/Berlangganan, layanan pesan yang memisahkan produsen data dari sistem hilir dan memungkinkan beberapa layanan untuk menggunakan aliran yang sama secara bersamaan. IBM® watsonx.data kemudian menangani pengambilan data terstruktur berkinerja tinggi, memberikan wawasan keuangan hingga 80% lebih cepat, melayani puluhan ribu pengguna sambil meningkatkan skala ke jutaan tanpa perubahan arsitektur

Manufaktur

Fasilitas manufaktur modern sering kali menggunakan sensor perangkat IoT dan pemrosesan data waktu nyata untuk meningkatkan efisiensi operasional. 

Misalnya, pabrik otomotif dapat memantau ribuan sensor jalur perakitan, melacak metrik seperti suhu, getaran, dan kinerja. Data ini dapat membantu operator deteksi inefisiensi lebih awal dan menjadwalkan pemeliharaan pencegahan untuk menghindari waktu henti.

Layanan Kesehatan

Penyedia layanan kesehatan mengandalkan aplikasi streaming untuk memproses data dari perangkat medis dan sistem pemantauan pasien.

Di unit perawatan intensif, misalnya, monitor di samping tempat tidur mengalirkan tanda-tanda vital melalui saluran data ke prosesor pusat. Pemroses ini kemudian dapat mengidentifikasi pola yang mengkhawatirkan dan secara otomatis memperingatkan staf medis ketika intervensi diperlukan.

Retail dan e-commerce

Peritel dan perusahaan e-commerce menggunakan streaming data dari sistem point-of-sale, sensor inventaris, dan platform online untuk mengoptimalkan operasi.

Misalnya, platform e-commerce besar dapat menggunakan Apache Kafka untuk memproses aliran klik dari jutaan pembeli guna mengukur permintaan dan mempersonalisasi pengalaman pelanggan.

Transportasi dan logistik

Perusahaan transportasi sering menggunakan streaming analytics untuk memproses data GPS dan pembacaan sensor IoT untuk mengoptimalkan armada.

Misalnya, penyedia logistik dapat mengintegrasikan data real-time dari ribuan kendaraan dengan kumpulan data cuaca dan lalu lintas. Prosesor aliran kemudian dapat mengaktifkan pengoptimalan rute otomatis dengan latensi minimal untuk membantu pengemudi menghindari penundaan. 

Keamanan siber

Streaming data membantu mendukung langkah-langkah keamanan siber seperti deteksi anomali otomatis. Sistem AI dan machine learning dapat menganalisis aliran data dari alat pemantauan di seluruh sistem untuk mengidentifikasi pola yang tidak biasa atau perilaku yang mencurigakan, sehingga memungkinkan respons segera terhadap potensi masalah. 

AI dan machine learning

Streaming data juga memainkan peran penting dalam AI dan machine learning. Misalnya, kerangka kerja pemrosesan streaming dapat mendukung pelatihan model AI yang berkelanjutan sehingga algoritma machine learning dapat beradaptasi dengan pola yang berubah dalam waktu nyaris seketika.

Sistem machine learning juga dapat belajar secara bertahap dari sumber streaming data melalui proses yang disebut pembelajaran online, dengan menggunakan algoritma khusus untuk meningkatkan akurasi tanpa memerlukan pelatihan ulang total model.

Alat dan teknologi streaming data

Dengan bantuan solusi data streaming sumber terbuka dan komersial, organisasi dapat membangun pipeline data yang dapat diskalakan yang toleran terhadap kesalahan, yang berarti mereka dapat pulih dari kegagalan tanpa kehilangan data atau waktu henti.

Dua jenis teknologi utama mendukung sebagian besar implementasi streaming data: kerangka kerja pemrosesan aliran dan platform streaming data.

Kerangka kerja pemrosesan aliran

Kerangka kerja pemrosesan aliran memberikan dasar untuk menangani aliran data berkelanjutan. Kerangka kerja ini membantu organisasi membangun pipeline data kinerja tinggi yang secara konsisten memproses volume besar data dengan cepat dan andal.

Tiga kerangka kerja sumber terbuka mendominasi lingkungan streaming:

  • Apache Kafka: Platform streaming terkemuka, Kafka dapat menangani volume data besar dengan latensi milidetik. Organisasi sering menggunakan Kafka untuk membangun pipeline untuk pelacakan aktivitas, pemantauan operasional, dan agregasi log. 

  • Apache Flink: Apache Flink mengkhususkan diri dalam pemrosesan peristiwa yang kompleks dan komputasi stateful. Ini sangat berharga untuk analisis waktu nyata, deteksi penipuan, dan pemeliharaan prediktif, di mana memahami konteks peristiwa dari waktu ke waktu sangat penting.

  • Apache Spark: Dikenal dengan fungsi analitik terpadunya, Spark dapat menangani pemrosesan batch dan stream menggunakan mesin eksekusi dan API yang sama. Kemampuan ini membuatnya berguna dalam skenario di mana organisasi perlu menganalisis kumpulan data historis bersama aliran data real-time.

  • Streaming Terstruktur Spark: Ekstensi dari Spark API inti yang dibangun di atas mesin Spark SQL dan mendukung pemrosesan stream yang dapat diskalakan serta toleran terhadap kegagalan. Teknologi ini menggunakan model pemrosesan micro-batch dan berkelanjutan untuk memproses data streaming secara bertahap.

Platform dan layanan streaming data

Platform streaming data menyediakan alat yang mendukung seluruh siklus hidup data real-time, mulai dari penyerapan dan pemrosesan hingga penyimpanan dan integrasi.

Penyedia cloud utama menawarkan layanan streaming terkelola yang menyederhanakan penerapan dan pengoperasian aplikasi streaming data volume tinggi. Contohnya termasuk Amazon Kinesis dari Amazon Web Services (AWS), Microsoft Azure Stream Analytics, Google Cloud Dataflow dan IBM® Event Streams. Layanan ini menyediakan kemampuan siap pakai yang membantu organisasi menghindari membangun infrastruktur streaming yang kompleks dari awal.

Banyak organisasi juga mengadopsi arsitektur streaming hybrid yang menggabungkan layanan cloud native dengan sistem on premises untuk memenuhi persyaratan kinerja, skalabilitas, dan residensi data.

Selain itu, platform seperti Confluent menyediakan kemampuan streaming kelas enterprise untuk membangun, mengelola, dan menskalakan pipeline data real-time di berbagai lingkungan TI. Confluent dikenal luas karena memperluas Apache Kafka dengan fitur canggih untuk tata kelola, keamanan, observabilitas , dan streaming data lintas lingkungan.

Tantangan streaming data

Sementara streaming data dapat memberikan manfaat yang signifikan untuk analitik dan pengambilan keputusan real-time, organisasi sering menghadapi tantangan teknis dan operasional ketika merancang arsitektur untuk mendukung aplikasi streaming. Transisi dari sistem pemrosesan batch tradisional ke lingkungan streaming dapat memerlukan pendekatan pengembangan baru, keahlian operasional, dan strategi infrastruktur.

Beberapa tantangan umum meliputi:

  • Menskalakan arsitektur streaming
  • Mengelola latensi, throughput, dan pertukaran biaya
  • Mempelajari perkakas baru
  • Mempertahankan daya tahan dan toleransi kesalahan
  • Memantau kinerja secara real-time
  • Menerapkan tata kelola data

Menskalakan arsitektur streaming

Sistem streaming sering memproses volume besar data yang dihasilkan terus menerus dari sumber terdistribusi. Organisasi dapat berjuang untuk menskalakan infrastruktur secara efektif sambil mempertahankan throughput tinggi yang konsisten dan latensi rendah seiring bertambahnya beban kerja.

Mengelola latensi, throughput, dan pertukaran biaya

Merancang arsitektur streaming sering melibatkan penyeimbangan prioritas yang bersaing. Pemrosesan latensi rendah dapat memerlukan lebih banyak sumber daya komputasi dan infrastruktur yang kompleks, sementara mengoptimalkan throughput atau efisiensi biaya dapat meningkatkan penundaan pemrosesan.

Mempelajari peralatan baru

Beralih dari sistem berorientasi batch ke arsitektur berbasis peristiwa sering kali memperkenalkan API baru, kerangka kerja pemrosesan aliran, dan perkakas operasional. Tim rekayasa data mungkin memerlukan keahlian khusus untuk mengelola, memantau, dan memecahkan masalah beban kerja real-time ini.

Mempertahankan daya tahan dan toleransi kesalahan

Sistem streaming harus tetap tangguh saat memproses jutaan peristiwa per detik. Tanpa mekanisme toleransi kesalahan yang efektif, organisasi berisiko kehilangan data, pemrosesan duplikat atau gangguan layanan dari malfungsi dan kegagalan sistem.

Memantau kinerja secara waktu nyata

Aplikasi streaming memerlukan pemantauan terus menerus terhadap metrik seperti latensi, throughput, lag, dan pemanfaatan sumber daya. Mempertahankan kinerja optimal dapat memberikan tekanan tambahan pada infrastruktur dan tim operasi yang sudah tegang.

Menerapkan tata kelola data

Organisasi harus mempertimbangkan cara mereka menyimpan dan memproses streaming data yang berisi informasi identifikasi pribadi (PII) atau informasi sensitif lainnya yang berada di bawah yurisdiksi Peraturan Perlindungan Data Umum (GDPR), California Consumer Privacy Act (CCPA), atau persyaratan tata kelola data lainnya.

Penyusun

Annie Badman

Staff Writer

IBM Think

Matthew Kosinski

Staff Editor

IBM Think

Solusi terkait
Solusi platform DataOps

Atur data Anda dengan solusi platform IBM DataOps untuk membuatnya tepercaya dan siap bisnis untuk AI.

Jelajahi solusi DataOps
IBM StreamSets

Buat dan kelola pipeline data streaming cerdas melalui antarmuka grafis yang intuitif, yang memfasilitasi integrasi data tanpa batas di seluruh lingkungan hybrid dan multicloud.

Jelajahi StreamSets
Layanan konsultasi data dan analitik

Buka nilai data perusahaan dengan IBM Consulting, membangun organisasi berbasis insight yang memberikan keuntungan bisnis.

Temukan layanan analitik
Ambil langkah selanjutnya

Rancang strategi data yang menghilangkan silo data, mengurangi kompleksitas, dan meningkatkan kualitas data untuk pengalaman pelanggan dan karyawan yang luar biasa.

  1. Jelajahi solusi manajemen data
  2. Temukan watsonx.data