ما منصة Apache Pulsar؟

Apache Pulsar هي منصة مراسلة وبث موزعة مفتوحة المصدر، ومتوفرة على السحابة. في حين أن Apache Kafka كان منذ فترة طويلة هو المعيار لتدفق الأحداث في الوقت الفعلي ومعالجة البيانات، فقد ظهرت Apache Pulsar كبديل قوي على مدار العقد الماضي.

مع مواجهة الشركات لبيئات تكنولوجيا المعلومات والبيانات المعقدة بشكل متزايد، فإنها تعتمد على منصات المراسلة والتدفق لضمان تبادل سريع وموثوق به للبيانات عبر التطبيقات والأنظمة والخدمات. مع تحوُّل تحليلات البيانات في الوقت الفعلي إلى محرك أساسي للرؤى القابلة للتنفيذ، فإن تسريع سرعة تدفق البيانات ومعالجتها يُعَد من الأولويات القصوى. وفقًا لبيانات IDC لعام 2025، تُشير الشركات التي شملها الاستطلاع إلى أن 63% من حالات الاستخدام يجب أن تعالج البيانات في غضون دقائق لتكون مفيدة.

تجمع Pulsar بين ميزات أنظمة المراسلة التقليدية وميزات أنظمة النشر/الاشتراك، ما يجعلها مناسبة بشكل فريد لحالات الاستخدام مثل الخدمات المصغرة والمراسلة الفورية وتكامل البيانات. تُتيح مجموعة كبيرة من القدرات والمزايا تعدُّد استخدامات Pulsar، بما في ذلك التكرار الجغرافي، والتأجير المتعدد، والتخزين متعدد الطبقات.

تم تطوير Apache Pulsar في الأصل في Yahoo وتم توفيرها مفتوحة المصدر بواسطة Apache Software Foundation في عام 2016، وهي الآن تُدير مئات المليارات من الأحداث يوميًا عبر المؤسسات الكبرى.

يبدأ فهم أهمية Apache Pulsar برؤية واضحة لكيفية عمل منصات المراسلة وبث الأحداث.

الرسالة هي حزمة من البيانات التي تُنشئها التطبيقات لاستخدامها من قِبَل تطبيقات أخرى. يتم استخدام هذه الحزم بالترتيب الذي يتم إرسالها به، حتى يقوم التطبيق المستهلك بمعالجتها.

تُسهّل أنظمة المراسلة تبادل هذه الرسائل. أنظمة المراسلة التقليدية هي حلول برمجيات وسيطة (تُعرَف أيضًا باسم البرمجيات الوسيطة الموجهة للرسائل (MOM)). تدعم هذه الحلول عادةً نمطين لتوزيع الرسائل: المراسلة من نقطة إلى نقطة، ومراسلة النشر/الاشتراك.

في المراسلة من نقطة إلى نقطة، يقوم تطبيق واحد (يُسمَّى المرسل) بإرسال رسالة إلى ما يُعرَف باسم قائمة انتظار الرسائل، والتي تقوم بتخزين الرسالة. ثم يستقبل تطبيق آخر (يُسمَّى المستقبل أو المستهلك) الرسالة من قائمة الانتظار ويقوم بمعالجتها. يجب استهلاك كل رسالة مرة واحدة فقط.

في رسائل النشر/الاشتراك، يُطلق على التطبيق الذي ينتج الرسالة اسم الناشر. وتُسمَّى التطبيقات التي تستخدمها بالمشتركين. يتم نشر كل رسالة في فئة تُعرَف بالموضوع، ويتلقى كل تطبيق مشترك في هذا الموضوع نسخة من جميع الرسائل المنشورة فيه.

يمكن للأقسام والموضوعات المقسمة تسريع عملية معالجة الرسائل. يتم توزيع الرسائل المنشورة للموضوعات المقسمة بين وسطاء متعددين.

تم تصميم رسائل النشر/الاشتراك لتكون بمثابة تواصل من نوع البث المباشر "من واحد إلى العديد". تُعَد المراسلة من نقطة إلى نقطة -كما يُشير اسمها- تبادلًا للمعلومات بين مرسل واحد ومستقبل واحد.

من بين أنظمة المراسلة التقليدية، غالبًا ما يتم الاستشهاد بمنصة RabbitMQ، وهي منصة مفتوحة المصدر، باعتبارها الأكثر شعبية.

تلتقط منصة بث الأحداث البيانات في الوقت الفعلي من التطبيقات وقواعد البيانات وأجهزة إنترنت الأشياء. ثم تنقل البيانات إلى وجهات مختلفة للمعالجة الفورية أو التحليل أو التخزين.

تشتهر منصات بث الأحداث بقدرتها على التوسع، حيث يمكنها ترتيب تدفقات السجلات في موضوعات وتخزينها لفترة زمنية محددة مسبقًا. لكن على عكس أنظمة المراسلة التقليدية، لا تستطيع منصات بث الأحداث ضمان تسليم الرسائل أو تتبُّع المستهلكين الذين تلقوا الرسائل. فهي تعتمد على رسائل النشر/الاشتراك بدلًا من توزيع الرسائل من نقطة إلى نقطة، كما أنها تقدِّم مرونة أقل في توجيه الرسائل.

من بين منصات بث الأحداث، تُعَد Apache Kafka الأكثر استخدامًا.

تجمع Apache Pulsar بين قدرات منصات مثل RabbitMQ وApache Kafka في حل واحد. يمكنها بث الأحداث وتسليم الرسائل إلى مستهلكين متعددين مثل Kafka؛ كما أنها تدعم الانتظار ويمكنها إرسال رسائل إلى مستهلكين فرديين مثل RabbitMQ.

لكن Pulsar هي أكثر من مجرد مجموع ما سبق من إصداراته. لقد طورت شركة Yahoo في البداية المنصة لتلبية احتياجاتها التنظيمية الخاصة؛ لذا تم بناء مزايا تنافسية معينة منذ البداية. في السنوات التي تلت ذلك، عززت التحسينات الأخرى من منصة Pulsar كمنصة مراسلة وبث عالية الأداء.

اليوم، تتضمن بعض الميزات الأكثر إقناعًا في Apache Pulsar ما يلي:

• تعدُّد المستأجرين
• التكرار الجغرافي
• بنية متعددة المستويات
• التخزين المقسم إلى فئات
• موصِّلات الإدخال والإخراج
• الاشتراكات المرنة

كانت ميزة تعدُّد المستأجرين إحدى الميزات الأصلية التي ميَّزت Apache Pulsar عن المنصات الأخرى. في بنية البرمجيات متعددة المستأجرين، تخدِم نسخة واحدة من تطبيق برمجي (وقاعدة البيانات الأساسية والأجهزة الخاصة به) مستأجرين متعددين (أو حسابات مستخدمين). تتضمن فوائد تعدُّد المستأجرين تبسيط إعداد النظام وتكوينه وصيانته ونشر التطبيقات بالإضافة إلى توفير التكاليف.

في Apache Pulsar، يمكن للفرق المختلفة مشاركة نظام المراسلة بأمان. كل مستأجر لديه المصادقة والتفويض والسياسات الخاصة به. يمكن تقسيم المستأجرين إلى ما يُسمَّى بالمساحات الاسمية (التجمعات المنطقية للموضوعات). يجعل هذا التقسيم من السهل دعم بيئات مختلفة -مثل التطوير والتجهيز والإنتاج- داخل مستأجر واحد.

يُعَد تكرار الرسائل إلى مواقع بعيدة أمرًا مهمًا لدعم التعافي من الكوارث أو لتمكين التطبيقات من العمل على نطاق عالمي. على عكس المنصات الأخرى، لا تتطلب Pulsar تكوينات معقدة أو إضافات لتشغيل هذه القدرة.

باستخدام التكرار الجغرافي، يمكن للتطبيقات الاتصال بمجموعة Pulsar المحلية والاستمرار في الإرسال إلى مجموعات أخرى حول العالم. إذا قام أحد المنتجين بنشر رسالة إلى موضوع في مساحة اسم متماثلة، فسيتم تكرار هذه الرسالة تلقائيًا إلى الموقع الجغرافي البعيد أو المواقع التي تم تكوينها.

يفصل تصميم Pulsar بين مكوِّنات تسليم الرسائل (وسطاء الرسائل) وطبقات تخزين الرسائل. يتم تخزين الرسائل بواسطة Apache BookKeeper، وهي الشركة الرائدة المعروفة في حلول التخزين الدائم للسجلات.

لتحسين الأداء، يوزع BookKeeper البيانات عبر خوادم متعددة تُعرف باسم وحدات Bookies. (يتم تخزين البيانات الوصفية لسجلات BookKeeper في Apache ZooKeeper). يمكن إضافة وحدات Bookies حسب الحاجة، ما يؤدي إلى إمكانية التوسع الأفقي المناسب للتعامل مع أحجام البيانات الكبيرة. يُتيح هذا التصميم لمنصة Pulsar توفير زمن انتقال قصير مع نقل كميات كبيرة من البيانات في فترة زمنية قصيرة - وهو ما يُعرف بالإنتاجية العالية.

تُعَد بنية Pulsar أيضًا بنية سحابية أصلية. تقوم كلٌّ من Pulsar والحوسبة السحابية بفصل الحوسبة عن التخزين. بالإضافة إلى ذلك، يمكن نشر Pulsar على Kubernetes، وهي منصة مفتوحة المصدر لتنسيق الحاويات والتي تشكِّل حجر الأساس للبنية التحتية السحابية الحديثة.

تمتلك Apache Pulsar أيضًا ميزة التخزين متعدد المستويات. تُتيح هذه الإمكانية نقل البيانات المتراكمة القديمة من Apache BookKeeper إلى تخزين طويل الأمد وأقل تكلفة، مع السماح لعملاء Pulsar بالوصول إلى البيانات المتراكمة.

تستخدم خدمة التخزين متعدد المستويات في Pulsar نظام Apache jclouds (مجموعة أدوات سحابية متعددة مفتوحة المصدر لمنصة Java) لدعم التخزين طويل الأمد من خلال حلول مثل AWS S3 (Amazon S3)، وGCS (Google Cloud Storage)، وAzure، وAliyun.

يمكن استخدام Apache Pulsar بسهولة مع الأنظمة الخارجية بفضل موصِّلات الإدخال والإخراج في Pulsar. تعمل هذه الموصِّلات كجسور بين Pulsar والأنظمة الأخرى، مثل محركات معالجة التدفق وواجهات برمجة تطبيقات مسار البيانات ومنصات المراسلة الأخرى.

تأتي موصِّلات Pulsar بنوعين: المصدر والمستقبِل. تقوم موصِّلات المصدر بنقل البيانات من الأنظمة الخارجية إلى Pulsar، بينما تقوم موصِّلات المستقبِل بالعكس، بنقل البيانات من Pulsar إلى الأنظمة الخارجية. تتضمن موصِّلات Pulsar المستخدمة بشكل شائع MySQL وMongoDB وCassandra وRabbitMQ وKafka وFlume وRedis.

تدعم Apache Pulsar أربعة أنواع مختلفة من الاشتراكات¹ لمساعدة المستخدمين على تكوين أنماط المراسلة:

• الحصري: يُسمح لمستخدم واحد فقط باستلام الرسائل من خلال الاشتراك.
  
  
  
• تجاوُز الفشل: عند فشل إرسال الرسائل إلى مستهلك أساسي معين، يتم إرسال الرسائل إلى مستهلك احتياطي بدلًا من ذلك للمعالجة.
  
  
• المشترك: يتم تسليم الرسائل بطريقة "دورية"، حيث يتلقى العديد من المستهلكين الرسائل، ولكن يتم تسليم كل رسالة إلى مستهلك واحد.
  
  
• المفتاح المشترك: يتم تعيين الرسائل إلى مفتاح رسالة، ما يساعد على ربط الرسائل ذات الصلة. يتم إرسال الرسائل التي تحمل المفتاح نفسه إلى المستهلكين بترتيب معين.

تتضمن الميزات الأخرى الجديرة بالملاحظة في Pulsar ما يلي:

موازنة تحميل الوسيط: تراقِب Pulsar وحدة المعالجة المركزية والذاكرة واستخدام الشبكة لوسطاء Pulsar وتنقِل أعباء العمل حسب الضرورة لتحسين التوازن وتجنُّب التحميل الزائد للوسطاء الفرديين.

سجل المخطط: يُتيح سجل المخطط الخاص بـ Pulsar لعملاء Pulsar تحميل مخططات البيانات على أساس كل موضوع لضمان استخدام المنتجين والمستهلكين لتنسيقات الرسائل المتوافقة.

مكتبات العميل: مكتبات العميل هي وظائف وإجراءات جاهزة مسبقًا تعمل على تبسيط التفاعلات بين التطبيقات وواجهات برمجة التطبيقات وقواعد البيانات والخدمات. يدعم Pulsar المكتبات الخاصة بلغة البرمجة (بما في ذلك المكتبات الخاصة بـ Java و++C وPython وNode.js) والمكتبات المستقلة عن اللغة (REST وWebSocket).

الاحتفاظ بالرسائل: تحذف الأنظمة التقليدية الرسائل بمجرد استهلاكها. يُتيح Pulsar للمستخدمين تعيين سياسات الاحتفاظ لتخزين الرسائل حتى بعد استهلاكها - وهي ميزة يمكنها دعم نماذج البنية القائمة على الأحداث.

تساعد حالات الاستخدام التالية من Apache Software Foundation في توضيح فائدة Apache Pulsar وتعدُّد استخداماتها.²