ما المقصود ببث الأحداث؟

ويُعدّ بث الأحداث وظيفة أساسية في معالجة تدفقات الأحداث (ESP)، إذ يتيح للبنى التحتية لتكنولوجيا المعلومات التعامل مع تدفقات كبيرة ومستمرة من الأحداث، من خلال معالجة البيانات عند وقوع الحدث أو حدوث التغيير. ويختلف بث الأحداث عن معالجة التدفقات. فبث الأحداث يوفّر البنية التحتية التي تنقل الأحداث وتخزّنها. أما معالجة التدفقات، فقد تُطبّق عمليات التصفية أو التجميع أو الإثراء على هذه الأحداث.

غالبًا ما يكمّل بث الأحداث معالجة الدفعات، التي تتعامل مع مجموعات بيانات كبيرة وثابتة، أو ما يُعرف باسم “البيانات الساكنة”. ولكن بدلًا من معالجة بيانات محدودة على دفعات، يستطيع بث الأحداث التعامل مع بيانات غير محدودة عند وصولها. ويتيح هذا النهج للبرمجيات ضمن البنية تفسير تدفقات البيانات، أو “البيانات المتحركة”، والاستجابة لها في الوقت الفعلي.

ويمكن لخدمات بث الأحداث عالية الأداء تنفيذ مجموعة متنوعة من المهام، بدءًا من الوظائف البسيطة، مثل إرسال إشعارات عند تغيّر أسعار الأسهم أو المنتجات، وصولًا إلى أحمال تشغيل أكثر تعقيدًا. كما يمكنها دعم الذكاء الاصطناعي (AI) ونماذج التعلم الآلي التي تعمل في الوقت الفعلي للكشف عن أنشطة المستخدمين المشبوهة.

حتى في حالة المعالجة بالدفعات، يمكن لبث الأحداث أن يضيف عمقًا للتحليلات من خلال ربط الأحداث بالطوابع الزمنية الخاصة بها. كما يساعد في تحديد الاتجاهات القديمة، ما يوفر رؤى قيمة على مر الزمن.

يقوم بث الأحداث على تدفق مستمر، وقد يكون غير محدود، لسجلات بيانات تُسمّى “الأحداث”، وهي هياكل بيانات أساسية تسجّل أي واقعة داخل النظام أو البيئة. والحدث هو سجل غير قابل للتغيير يوثّق وقوع أمر ما، مثل تقديم طلب شراء أو الموافقة على عملية دفع. أما “التدفق”، الذي يُسمّى أيضًا تدفق البيانات أو البيانات المتدفقة، فهو الإرسال المستمر لهذه الأحداث.

يتألف كل حدث عادةً من مفتاح يحدّد الحدث أو الكيان الذي يتعلق به، وقيمة تتضمّن البيانات الفعلية للحدث. كما يتضمّن طابعًا زمنيًا يشير إلى وقت وقوع الحدث أو تسجيله، وأحيانًا بيانات وصفية عن مصدر البيانات أو إصدار المخطط أو سمات أخرى.

بمساعدة محركات متخصّصة لمعالجة التدفقات، يمكن إخضاع الأحداث لعدة عمليات مختلفة داخل التدفق. تُجري “عمليات التجميع” حسابات على البيانات، مثل حساب المتوسطات والمجاميع والانحراف المعياري. ويضيف “الاستيعاب” البيانات المتدفقة إلى قواعد البيانات. وتستخدم المعالجة التحليلية الأنماط الموجودة في البيانات المتدفقة للتنبؤ بالأحداث المستقبلية، بينما تجمع معالجة الإثراء نقاط البيانات مع بيانات من مصادر أخرى لتوفير السياق وإضفاء معنى عليها.

مع توليد المؤسسات كميات كبيرة من بيانات الأحداث، قد تستخدم التحليلات الفورية لتحديد الأنماط والحالات الشاذة والاتجاهات عند ظهورها. ويستفيد الذكاء الاصطناعي من هذه الرؤى المتاحة في الوقت الفعلي للكشف عن العلاقات المعقّدة في تدفقات الأحداث، وإنتاج التنبؤات، والتوصية بالإجراءات.

أصبحت هذه القدرة شرطًا أساسيًا لأنظمة الذكاء الاصطناعي؛ فوفقًا لشركة IDC، تتطلّب 80% من حالات استخدام الذكاء الاصطناعي الوكيل بيانات متاحة في الوقت الفعلي، ومرتبطة بالسياق، ويسهل الوصول إليها على نطاق واسع. وسواء كانت هذه الأنظمة تدعم التحليلات أو الذكاء الاصطناعي أو مهام سير العمل المؤتمتة، فإنها تعتمد على تدفق مستمر من الأحداث التي تمثّل الأنشطة في مختلف أنحاء المؤسسة.

ترتبط الأحداث بعمليات الأعمال أو بتنقّل المستخدم داخل التطبيقات، وعادةً ما تُطلِق إجراءً آخر أو عملية أخرى أو سلسلة من الأحداث. لنأخذ الخدمات المصرفية عبر الإنترنت مثالًا: عندما ينقر المستخدم على “تحويل” لإرسال أموال من حساب مصرفي إلى آخر، تُسحب الأموال من حساب المُرسِل وتُضاف إلى الحساب المصرفي للمُستلِم. وتُرسَل إشعارات بالبريد الإلكتروني أو الرسائل النصية القصيرة إلى أحد الطرفين أو كليهما، وتُفعَّل بروتوكولات الأمن ومنع الاحتيال عند الحاجة.

الأحداث هي العنصر الأساسي في بث الأحداث. ومع ذلك هناك مجموعة من العناصر الأخرى التي تمكّن خدمات البث من معالجة الأحداث بالسرعة والفعالية التي تقوم بها. تتضمن بعض العناصر المهمة الأخرى ما يلي:

تستقبل الوسائط الأحداث من المنتجين، وتنظّمها وتخزّنها وتتيحها للمستهلكين. ومن خلال أداء دور الوسيط، تتيح هذه الوسائط للمنتجين والمستهلكين التواصل دون اتصالات مباشرة، مما يمكّن كلًا منهم من العمل وتوسيع نطاقه بصورة مستقلة. 

وفي أنظمة بث الأحداث الموزّعة، تضمن الوسائط زمن انتقال قصيرًا وتوافرًا عاليًا من خلال تكرار الأحداث عبر عُقد متعددة. ويمكن أيضًا تجميع الوسائط في مجموعات تعمل معًا لتسهيل موازنة الأحمال وتوسيع النطاق.

إن المواضيع عبارة عن تصنيفات أو أسماء موجزات تُنشر عليها الأحداث، ما يوفر طريقة لتنظيم الأحداث وتصفيتها داخل المنصة. وهي تعمل بوصفها "موضوعًا" للأحداث، ما يسمح للمستهلكين بالاشتراك في الموضوعات وتلقي الأحداث ذات الصلة فقط.

كما يمكن تقسيم الموضوعات إلى أقسام، ما يسمح لعدة مستهلكين بالقراءة في موضوع ما في وقت واحد دون الإخلال بترتيب كل قسم.

إن التعويضات مُعرِّف فريد لكل حدث داخل القسم، حيث تشير إلى موضع الحدث داخل التسلسل. يستخدم المستهلكون التعويضات لتنظيم الأحداث التي عالجوها. على سبيل المثال، إذا قطع المستهلك الاتصال بحدث ما ثم أعاد الاتصال لاحقًا، فيمكنه استئناف المعالجة من آخر تعويض معروف.

نظرًا لانتشار البيانات—والارتفاع الناتج عن حركة البيانات—يعد تدفق الأحداث عنصرًا أساسيًا في بنى البيانات الحديثة. ويعد ذا قيمة في البيئات التي تتطلب قدرات سريعة للغاية في صناعة القرار أو في المؤسسات التي تهدف إلى أتمتة مسؤوليات صناعة القرار.

إليك كيفية إدارة خدمات بث الأحداث لبيانات الأحداث:

1. توليد الأحداث. يبدأ بث الأحداث عندما يرسل المنتجون، مثل الخدمات المصغّرة أو الأنظمة الخلفية أو المنظومات المتكاملة لإنترنت الأشياء أو واجهات برمجة التطبيقات القائمة على الأحداث، أحداثًا إلى منصة بث الأحداث.
   
   
2. نشر الأحداث. ينشر المنتجون الحدث في موضوع معين داخل المنصة باستخدام مكتبات العملاء، وعندئذٍ تصبح المكتبات متاحة للمستهلكين (التطبيقات والخدمات التي تشترك في الموضوع).
   
   
3. تخزين الأحداث. تخزّن المنصة الأحداث لمدة محدّدة مسبقًا، وتتولّى الوسائط إدارة عمليات تخزين الأحداث واسترجاعها.
   
   
4. استهلاك الأحداث. يعالج المستهلكون بيانات الأحداث لبدء أحداث أخرى. وبناءً على غرض الأحداث أو تكوينها، يمكن أن يتعامل المستهلكون مع الأحداث فور وصولها (معالجة آنية)، أو تخزينها للمعالجة اللاحقة أو تجميعها للمعالجة بالدفعات. كما يتتبع المستهلكون موقعهم في مسارات البيانات باستخدام التعويضات؛ حتى يتمكنوا من استئناف المعالجة من حيث توقفوا في حالة حدوث تعطل أو إعادة تشغيل.
   
   
5. تسليم الأحداث. يتيح وسيط الأحداث هذه الأحداث للمستهلكين. وقد يضمن تسليمها وفق دلالة “مرة واحدة على الأقل”، بما يضمن وصول كل حدث إلى وجهته، حتى إن تكرّر تسليمه. وقد تشمل العملية أيضًا التسليم وفق دلالة “مرة واحدة بالضبط”، التي تضمن تسليم كل حدث مرة واحدة فقط، أو وفق نوع آخر من دلالات التسليم.
   
   
6. معالجة الأحداث. بمجرد استهلاك الحدث الأولي وتسليمه، تعالَج بيانات الحدث للعديد من الإجراءات النهائية، بما في ذلك تحويل البيانات وتجميعها وتحفيز مهام سير العمل المتعلقة بمعالجة الأحداث المعقدة (CEP). وتستخدم المؤسسات عادةً تقنيات معالجة التدفقات، مثل Apache Flink وApache Spark Structured Streaming وKafka Streams، لتنفيذ هذه العمليات في الوقت الفعلي عبر الأنظمة الموزّعة القائمة على الأحداث. ويمكن لتدفقات البيانات الناتجة في الوقت الفعلي أيضًا توفير التدفق المستمر للبيانات الذي تستخدمه أنظمة الذكاء الاصطناعي لدعم صناعة القرار في الوقت الفعلي.

يُطبَّق بث الأحداث عادةً من خلال بنية موزّعة مصمّمة لجمع تدفقات مستمرة من بيانات الأحداث وتخزينها ومعالجتها وتوزيعها عبر أنظمة متعددة. وبدلًا من الاعتماد على اتصالات مباشرة من نقطة إلى نقطة، تستخدم بُنى بث الأحداث بنية تحتية مشتركة تفصل منتجي البيانات عن مستهلكيها، مما يتيح للتطبيقات توسيع نطاقها بصورة مستقلة وتبادل المعلومات في الوقت الفعلي. وتتيح عدة عناصر أساسية في البنية عمل هذا الإطار:

يُعدّ وسيط الأحداث عنصرًا أساسيًا في معظم بُنى بث الأحداث، إذ يشكّل بنية أساسية قابلة للتوسّع تضمن الاحتفاظ ببيانات الأحداث. وتُكتب الأحداث في موضوعات ضمن سجل موزّع، حيث تُخزَّن بترتيب وصولها وتظلّ متاحة للاستهلاك لاحقًا.

تتيح هذه البنية لتطبيقات متعددة الوصول بصورة مستقلة إلى تدفق الأحداث نفسه، دون الحاجة إلى التكامل المباشر مع الأنظمة التي أنتجت البيانات. وعادةً ما توفّر تقنيات مثل Apache Kafka وAmazon Kinesis وApache Pulsar هذه القدرة.

ولدعم أحمال التشغيل واسعة النطاق، تُنظَّم تدفقات الأحداث عادةً في موضوعات، وتُقسَّم إلى أقسام يمكن توزيعها عبر خوادم متعددة. ويتيح التقسيم المعالجة المتوازية وزيادة معدل نقل البيانات، بينما ينشئ التكرار نسخًا من البيانات عبر عُقد مختلفة لتحسين تحمّل الأعطال والتوافر عند تعطّل عناصر منفردة.

تفصل بُنى بث الأحداث بين الأنظمة التي تولّد البيانات والأنظمة التي تستخدمها. وينشر المنتجون الأحداث في موضوعات، بينما يشترك المستهلكون في هذه الموضوعات ويعالجون الأحداث بصورة مستقلة. ويتيح هذا التصميم الذي يفصل بين المنتجين والمستهلكين إضافة تطبيقات وخدمات جديدة دون تعديل الأنظمة التي تولّد البيانات.

تتضمّن العديد من بُنى بث الأحداث طبقة لمعالجة التدفقات، تحلّل الأحداث وتحوّلها أثناء مرورها عبر النظام. ومن أبرز تقنيات معالجة التدفقات Apache Flink وKafka Streams وksqlDB وApache Spark Structured Streaming. وتدعم هذه التقنيات عمليات مثل التصفية والإثراء والربط والتجميع على البيانات التي تصل باستمرار.

تتطلّب بعض أحمال تشغيل التدفقات من التطبيقات الاحتفاظ بمعلومات عن الأحداث السابقة. فعلى سبيل المثال، قد تحلّل منصة للتجارة الإلكترونية جميع عمليات الشراء التي أُجريت خلال الساعة الماضية، لتحديد المنتجات الرائجة وتحديث التوصيات في زمن شبه حقيقي. وتتيح إدارة الحالة للنظام الاحتفاظ بهذه المعلومات وتحديثها بمرور الوقت، بينما ينظّم التقسيم إلى نوافذ تدفقات البيانات المستمرة في فترات تستند إلى الزمن أو الأحداث لتحليلها.

تتضمّن بُنى بث الأحداث عادةً آليات تساعد على منع فقدان البيانات والتعافي من الأعطال. وبحسب متطلبات التطبيق، يمكن للأنظمة توفير ضمانات لمعالجة الأحداث مرة واحدة على الأكثر، أو مرة واحدة على الأقل، أو مرة واحدة بالضبط. ويساعد إنشاء نقاط التحقّق والتكرار وتتبّع مواضع القراءة لدى المستهلكين على الحفاظ على اتساق البيانات أثناء الانقطاعات أو إعادة تشغيل النظام.

تُسلَّم الأحداث المعالَجة عادةً إلى وجهات لاحقة، مثل قواعد البيانات أو مستودعات البيانات أو بحيرات البيانات أو فهارس البحث أو أنظمة التعلم الآلي أو تدفقات أحداث أخرى. وتتيح عمليات التكامل هذه استخدام بيانات الأحداث لدعم التحليلات الفورية والتطبيقات التشغيلية ومهام سير عمل الأتمتة وتطبيقات الذكاء الاصطناعي.

وإلى جانب عمليات البث والمعالجة المعتادة، تتيح منصات بث الأحداث، مثل Amazon Kinesis وGoogle Cloud Pub/Sub وAzure Event Hubs وIBM® Event Automation، مجموعة من ممارسات البث التي تعزّز الوظائف المتاحة. ويستخدم IBM Event Automation، على وجه الخصوص، قدرات المعالجة التي توفّرها منصة Apache Kafka ذات المصدر المفتوح لتحسين مهام سير العمل القائمة على الأحداث. وتساعد هذه القدرات المؤسسات أيضًا على توفير مسارات البيانات التي تعمل في الوقت الفعلي وتعتمد عليها أنظمة التحليلات والذكاء الاصطناعي.

تعني المعالجة مرة واحدة بالضبط أن كل حدث في التدفق يُعالَج مرة واحدة فقط، وهي ميزة أساسية لمنع تكرار أحداث التدفق وفقدانها. وتتضمّن معظم أنظمة بث الأحداث آليات تضمن دلالات المعالجة مرة واحدة بالضبط، بصرف النظر عن الأعطال التي قد تقع في مواضع أخرى من النظام.

عندما تعجز العناصر اللاحقة عن مواكبة معدل الأحداث الواردة، يمنع الضغط الخلفي التدفقات من تحميل النظام فوق طاقته. والضغط الخلفي آلية للتحكّم في تدفق البيانات، تتيح للمستهلكين إرسال إشارات إلى المنتجين لإبطاء إنتاج البيانات أو إيقافه عندما تتجاوز أعباء معالجة البيانات قدرتهم، أو عندما يعجزون عن مواكبة الأحداث الواردة.

وتتيح هذه العملية للأنظمة التعامل بسلاسة مع أحمال التشغيل، من خلال تخزين الأحداث الواردة مؤقتًا أو إسقاطها بدلًا من تعطيل النظام بأكمله، لتظلّ معالجة الأحداث مستقرة مع تغيّر أحمال التشغيل.

غالبًا ما يعمل مستهلكو الأحداث ضمن مجموعة مستهلكين لتسريع استهلاك الأحداث. ويُخصَّص لكل مستهلك في المجموعة جزء من الأقسام، مما يتيح استهلاك الأحداث بالتوازي لتحقيق كفاءة أعلى. وإذا تعطّل أحد المستهلكين في المجموعة، أو استدعت الحاجة إضافة مستهلك أو إزالته، تستطيع المنصة إعادة توزيع الأقسام ديناميكيًا للحفاظ على التوازن وتحمّل الأعطال.

غالبًا ما يتطلّب بث الأحداث معالجة البيانات بطريقة تراعي عامل الوقت. والعلامة المائية هي تقدير النظام لمدى تقدّم زمن الأحداث. ويحدّد استخدام العلامات المائية حدًا للاكتمال يبيّن متى يمكن للنظام اعتبار بيانات الأحداث قد عولجت بالكامل. كما يمكن أن تساعد هذه العلامات على ضمان الدقة في المعالجة المستندة إلى الوقت، والتعامل مع الأحداث التي تصل بغير ترتيبها الزمني.

تقدم معظم منصات بث الأحداث سياسات احتفاظ بالبيانات قابلة للتخصيص تتيح للمطورين التحكم في مدة إتاحة الأحداث للاستهلاك. ومع ذلك، فإن ضغط البيانات هو عملية تزيل البيانات المتكررة أو القديمة من المواضيع، ما يبقي بصمة التخزين في الحد الأدنى مع الحفاظ على البيانات الأساسية.

ويجدر التأكيد مجددًا على أن بُنى البث المعتادة تفصل عادةً بين منتجي الأحداث ووسائط الأحداث والمستهلكين، بحيث يمكن توسيع نطاق العناصر وصيانتها بصورة مستقلة. وتتيح هذه المرونة للشركات دعم العديد من التطبيقات اللاحقة، بما في ذلك التحليلات الفورية وصناعة القرار المدعومة بالذكاء الاصطناعي ومهام سير العمل المؤتمتة. وتتيح هذه المرونة للشركات دعم العديد من التطبيقات اللاحقة، بما في ذلك التحليلات الفورية وصناعة القرار المدعومة بالذكاء الاصطناعي ومهام سير العمل المؤتمتة.

يكمن الفرق بين بث الأحداث ومعالجة الدفعات في أن بث الأحداث يتعامل مع البيانات باستمرار عند وقوع الأحداث، بينما تعالج معالجة الدفعات البيانات المتراكمة دوريًا أو عند تشغيلها استجابةً لمحفّز.

ينقل كلّ من بث الأحداث ومعالجة الدفعات البيانات ويعالجها، لكنهما يختلفان أساسًا في توقيت التعامل مع البيانات وكيفيته. ويجمع بث الأحداث الأحداث وينقلها باستمرار فور وقوعها من مصادر مثل التطبيقات وقواعد البيانات وأجهزة إنترنت الأشياء. وبدلًا من انتظار اكتمال مجموعة بيانات، تتعامل الأنظمة مع الأحداث المنفردة أو المجموعات الصغيرة من الأحداث عند وصولها، مما يتيح التحليل والاستجابة بزمن انتقال قصير.

ويلائم هذا النهج حالات الاستخدام التي تعتمد فيها قيمة البيانات على حداثتها. ومن أمثلتها الكشف عن الغش، والمراقبة التشغيلية، والتوصيات المقدّمة في الوقت الفعلي، وأنظمة الذكاء الاصطناعي التي تعتمد على معلومات حديثة.

أما معالجة الدفعات، فتجمع البيانات على مدى فترة محدّدة وتعالجها معًا ضمن حمل تشغيل منفصل. ولأن إنتاج النتائج فورًا ليس مطلوبًا، تلائم معالجة الدفعات مهام مثل إعداد التقارير اليومية أو تسوية الحسابات أو تحديث لوحات معلومات التحليلات.

كما أن النهجين متكاملان، ولا يستبعد استخدام أحدهما استخدام الآخر؛ فقد تستخدم المؤسسة بث الأحداث لرصد الأنشطة والاستجابة لها عند وقوعها، ثم تستخدم معالجة الدفعات لإجراء تحليل تاريخي شامل للبيانات المتراكمة.

يعد بث الأحداث مفهومًا قويًا يسمح للمؤسسات باستخدام البيانات عند إنشائها، ما يؤدي إلى إنشاء أنظمة أكثر استجابة وذكاءً. مع ظهور اتخاذ القرارات القائمة على البيانات، أصبح بث الأحداث عنصرًا متزايد الأهمية في بنى البرمجيات الحديثة.

وعلى هذا النحو، فإن تقنيات بث الأحداث تحتوي على مجموعة من حالات الاستخدام في مختلف قطاعات الأعمال، بما في ذلك:

ولا تقتصر فائدة بث الأحداث على صناعات بعينها، إذ يمكن أن يكون مفيدًا أيضًا عند استخدامه مع تقنيات وبُنى أخرى. فعلى سبيل المثال، يرتبط بث الأحداث أحيانًا بأنماط مثل تسجيل الأحداث كمصدر للحالة، وفصل مسؤولية الأوامر عن الاستعلامات (CQRS).

وتسجيل الأحداث كمصدر للحالة هو نمط معماري تُخزَّن فيه التغييرات التي تطرأ على حالة التطبيق في صورة تسلسل من الأحداث. وعند استخدامه مع تدفقات الأحداث، فإنه يتيح لنظام البث إعادة تشغيل الأحداث. ويمكن لهذه القدرة إعادة بناء حالة كيان في أي وقت، أو تشغيل عناصر أخرى في النظام.

في النمط البُنيوي CQRS، ينقسم النظام إلى نموذجين مختلفين: أحدهما يتعامل مع الأوامر (الكتابة) والآخر يتعامل مع الاستعلامات (القراءة). يمكن استخدام بث الأحداث في CQRS لنشر التغييرات من نموذج الكتابة إلى نموذج القراءة في الوقت الفعلي، ما يتيح التكامل غير المتزامن بين الاثنين.

ويُعدّ بث الأحداث أيضًا تقنية أساسية لبناء البُنى القائمة على الأحداث. وتتيح البنية القائمة على الأحداث للعناصر قليلة الترابط التواصل من خلال الأحداث. وبدلًا من نشر تدفقات من الأحداث إلى وسيط، تنشر حدثًا لغرض محدّد يمكن لتطبيق أو خدمة أخرى استخدامه لتنفيذ إجراءات بدوره.

ويمكن لقدرات المعالجة داخل التدفقات التي توفّرها البُنى القائمة على الأحداث، عند استخدامها مع قدرات بث الأحداث، تمكين الشركات من الاستجابة للبيانات المتحركة واتخاذ قرارات سريعة استنادًا إلى البيانات الحالية والتاريخية. كما تدعم هذه الاستجابة في الوقت الفعلي تطبيقات التحليلات والذكاء الاصطناعي التي تعتمد على بيانات تُحدَّث باستمرار.

في السنوات الأخيرة، بدأ مزوّدو الخدمات السحابية تقديم خدمات تستند إلى مبادئ بث الأحداث. ويسهّل بث الأحداث كخدمة على الشركات تبنّي بث الأحداث دون إدارة البنية التحتية الأساسية بأكملها، مما يوسّع نطاق حالات استخدامه.