ما هو تدفق البيانات في الوقت الفعلي؟

يشير تدفق البيانات في الوقت الفعلي إلى المعالجة الفورية لنقاط البيانات فور ورودها، وغالبًا في غضون أجزاء من الألف من الثانية من توليدها.

ويختلف هذا النهج القائم على زمن انتقال قصير عن المعالجة الدفعية التقليدية، التي تُجمَّع فيها المهام وتُنفَّذ في أوقات مجدولة. وعلى النقيض من ذلك، فإن المعالجة الفورية للبيانات أثناء انتقالها تتيح للمؤسسات الوصول إلى معلومات حديثة ومحدَّثة لحظة بلحظة. وتشمل مصادر البيانات في الوقت الفعلي ما يلي:

• أجهزة إنترنت الأشياء (IoT) وأجهزة الاستشعار
• خلاصات بيانات الأسواق المالية
• وسائل التواصل الاجتماعي
• أنظمة منافذ البيع والتجارة الإلكترونية
• سجلات النقر، وهي سجلات لسلوك المستخدم على موقع إلكتروني

ويؤدي تحليل هذه المعلومات إلى استخلاص رؤى تدعم صناعة القرار في الوقت المناسب، كما تدعم التطبيقات العاملة في الوقت الفعلي، بما في ذلك الذكاء الاصطناعي القائم على الوكلاء. وتشمل الفوائد الإضافية لتدفق البيانات في الوقت الفعلي تحسين الكفاءة التشغيلية، والاحتفاظ بالبيانات، وإدارة المخاطر، وتخصيص تجارب العملاء.

ويعتمد تدفق البيانات في الوقت الفعلي على بنية تحتية تتكون من طبقة استيعاب البيانات، ومحرك معالجة في الوقت الفعلي، وطبقة للتخزين والإتاحة. كما تدعم حلول مثل أطر العمل مفتوحة المصدر ومنصات تدفق البيانات هذه البنية التحتية، وتساعد المؤسسات على إدارة ملايين السجلات بكفاءة عبر آلاف مسارات البيانات.

تخيّل نافورة مياه متدفقة بقوة. يتوقف عابر سبيل عطشان ويحاول أن يرتشف بضع جرعات، لكن اندفاع الماء شديد إلى حد يجعله بالكاد يستطيع ابتلاع شيء. فيتناثر معظم الماء خارج فمه، وتتكوّن بِرك عند قدميه. ولإرواء ظمئه، سيضطر إلى الوقوف هناك لبعض الوقت، بل ربما لوقت طويل إلى درجة تجعله يقرر من الأصل أن هذا الجهد لا يستحق العناء.

وهذا هو المأزق الذي تواجهه المؤسسات حين تحاول تسخير قوة التدفقات السريعة للمعلومات، وهي اليوم من أكثر مصادر ذكاء الأعمال قيمة.

فمحاولة جمع تلك البيانات ومعالجتها بالطرق التقليدية تشبه التحدي الذي يواجهه ذلك العابر العطشان أمام نافورة خارجة عن السيطرة: إذ يصبح بلوغ الهدف، سواء أكان الحصول على رؤى عملية قابلة للتنفيذ أم مجرد إرواء العطش، عملية فوضوية تستغرق وقتًا أطول مما ينبغي.

ويوفر تدفق البيانات في الوقت الفعلي للمؤسسات وسيلة للاستفادة من البيانات الفورية بسرعة ومن دون هذه الفوضى.

فمن خلال استيعاب البيانات ومعالجتها في الوقت الفعلي، تستطيع الشركات أخذ البيانات المتدفقة بسرعة وعلى نحو مستمر وتمريرها إلى أنظمة التحليلات في الوقت الفعلي، التي تنتج بدورها رؤى عملية في الوقت المناسب. وتمنح هذه الرؤى الفورية ميزة تنافسية في طيف واسع من الصناعات والتخصصات.

فيمكن لتجار التجزئة تعديل الأسعار على نحو ديناميكي استنادًا إلى معلومات فورية عن طلب المستهلكين. ويمكن للبنوك تحليل بيانات المعاملات واكتشاف الغش في الوقت الفعلي. كما يمكن للمصنّعين رصد أعطال الآلات ومعالجتها قبل حدوث توقف كبير.

تتضاعف المرونة التي تتيحها البيانات في الوقت الفعلي عند اقترانها بالذكاء الاصطناعي الوكيل. إذ يستفيد الذكاء الاصطناعي القائم على الوكلاء من البيانات الفورية لدعم صناعة قرار سريعة ومستقلة في العالم الحقيقي، مثل تحديد تهديدات الأمن السيبراني والاستجابة لها، أو تعديل مسارات الشحن أثناء تأخيرات المرور.

ومن دون تدفق البيانات في الوقت الفعلي، لن تتمكن الشركات من تحقيق هذه الفوائد. وبدلًا من ذلك، سيعتمدون على الأساليب التقليدية الأبطأ في استيعاب البيانات ومعالجتها.

وبوصفه حلًا حديثًا لمعالجة البيانات، يختلف تدفق البيانات في الوقت الفعلي، وإدارة بيانات التدفق عمومًا، عن النهج التقليدي لمعالجة البيانات، وهو المعالجة على دفعات.

في تدفق البيانات في الوقت الفعلي، تتم معالجة كل نقطة بيانات واردة على حدة فور دخولها إلى النظام المستهدف. في المعالجة على دفعات، تجمع المؤسسات مجموعات البيانات وتحللها على دفعات (بيانات دفعية) على فترات زمنية محددة.

ويمكن للمعالجة على دفعات أتمتة أحمال التشغيل المتكررة، مثل إنشاء التقارير الروتينية. كما تتيح للمؤسسات تحسين استخدام الموارد من خلال جدولة المهام الدفعية خلال الفترات المناسبة، مثل ساعات الليل، عندما لا تكون الأنظمة قيد الاستخدام المكثف.

لكن المعالجة على دفعات لا تفي بالغرض عندما يتعلق الأمر باحتياجات الأعمال التي لا تحتمل انتظار دورة التشغيل المجدولة التالية. ولتحقيق استجابة أسرع، تتجه المؤسسات إلى عمليات أسرع، بما في ذلك تدفق البيانات في الوقت الفعلي.

وتحقق المؤسسات التي تستخدم تدفق البيانات في الوقت الفعلي العديد من الفوائد، من بينها:

وغالبًا ما يُستخدم مصطلح تدفق البيانات في الوقت الفعلي على نحو مترادف مع مصطلح "تدفق الأحداث" لسبب وجيه، إذ إن الفرق بينهما دقيق.

ويرصد تدفق الأحداث تدفق السجلات المسماة "الأحداث" — أي الوقائع أو التغيرات التي تطرأ في النظام أو البيئة — من مصادر بيانات متنوعة مثل التطبيقات وأجهزة إنترنت الأشياء، ثم ينقلها للمعالجة الفورية، وبعد ذلك للتحليلات أو التخزين. وعادةً ما تتكون تدفقات الأحداث من بيانات في الوقت الفعلي.

ومع ذلك، أثناء تدفق الأحداث، تُصفّى البيانات قبل نقلها، مما يقلل بدرجة كبيرة من الضغط على النظام المستهدف. ورغم أن هذا قد يمثل ميزة رئيسية لبعض المؤسسات، فإن تدفق الأحداث قد ينطوي أيضًا على جانب سلبي، إذ إن تحليل السلاسل الزمنية ومعالجة الإشارات، أي معالجة بيانات المستشعرات وغيرها من المعلومات لاستخلاص القيمة منها، يُعدان أكثر تحديًا في تدفق الأحداث منهما في تدفق البيانات في الوقت الفعلي.

ومع ذلك، فإن حلول تدفق البيانات في الوقت الفعلي وتدفق الأحداث هي نفسها. وتُعرف أيضًا منصات تدفق البيانات الرائدة، مثل Apache Kafka وAmazon Kinesis من Amazon Web Services (AWS) وRedpanda، بأنها منصات لتدفق الأحداث.

وتُعرف بنية البيانات التي تدعم تدفق البيانات في الوقت الفعلي باسم بنية التدفق، وهي تضم مكونات لهندسة البيانات صُممت للحفاظ على تدفق البيانات ومنع تقادمها. العناصر الأساسية الثلاثة هي:

• الاستيعاب
• المعالجة
• الوجهة

تنتج مصادر متنوعة نقاط البيانات وتبثها باستمرار. وغالبًا ما تكون هذه البيانات الواردة غير محدودة، أي إنها تُولَّد وتستمر في التدفق من دون نقطة نهاية ثابتة. وتجمع أدوات استيعاب البيانات هذه المعلومات عبر موصلات البث، ثم تُمرَّر إلى محرك المعالجة. كما يمكن لواجهات برمجة التطبيقات (APIs) أن تساعد في أتمتة نقل البيانات في الوقت الفعلي من مصادر متنوعة.

وفي معالجة التدفق (التي يُشار إليها أحيانًا باسم معالجة البيانات في الوقت الفعلي)، تتم تصفية البيانات أو إثراؤها أو تحويلها أو تحليلها فور وصولها. كما يمكن توظيف الذكاء الاصطناعي والتعلم الآلي لدعم تحليل البيانات واستجلاء الأنماط وغيرها من الرؤى الرئيسية.

ثم تُرسل البيانات المعالجة إلى وجهة للاستخدام الفوري، مثل تطبيق أو لوحة معلومات، أو للتخزين. وغالبًا ما تعتمد المؤسسات على بحيرات البيانات ومستودعات بحيرات البيانات لتخزين البيانات المتدفقة، لقدرتها على استيعاب أحجام كبيرة من البيانات بتكاليف منخفضة نسبيًا. ويمكن أيضًا تخزين البيانات المتدفقة في مستودعات البيانات، التي تستخدم عمليات الاستخراج والتحويل والتحميل (ETL) لتحويل البيانات وتنظيمها وتصورها.

وتُعد أدوات البث المناسبة وقدرات المعالجة عنصرًا حاسمًا في بناء مسارات تدفق البيانات في الوقت الفعلي. وتشمل هذه الأدوات أطر عمل مفتوحة المصدر، ومنصات وأدوات تدفق بيانات مرتكزة على السحابة، وحلول تكامل البيانات.

وتُعد Apache Kafka وApache Flink وApache Spark Streaming من أبرز الأطر والأدوات مفتوحة المصدر لتدفق البيانات في الوقت الفعلي.

• Apache Kafka: منصة موزعة تتيح للتطبيقات نشر تدفقات البيانات أو الأحداث أو الاشتراك فيها، مع توفير نقل بيانات عالي الإنتاجية.

• Apache Flink: محرك معالجة موزع للحسابات ذات الحالة، أي التي تحافظ على سياق البيانات عبر الأحداث، ولمعالجة الأحداث المعقدة، أي اكتشاف الأنماط والعلاقات داخل تدفقات الأحداث.

• Apache Spark Streaming: يُعد Spark Streaming امتدادًا لمحرك معالجة البيانات Spark. وهو يوفّر معالجة قابلة للتوسع وقادرة على تحمّل الأعطال لتدفقات البيانات الحية.

ويمكن لحلول البث مفتوحة المصدر أن تشكّل الأساس لتدفق البيانات في الوقت الفعلي. ومع ذلك، تعتمد المؤسسات في كثير من الأحيان على مزودي الخدمات السحابية والمنصات السحابية المتخصصة للحصول على دعم إضافي لإدارة البيانات المتدفقة، وبناء تطبيقات البث، وضمان قابلية التوسع.

وتشمل الأدوات والمنصات الشائعة Amazon Kinesis، وConfluent، وMicrosoft Azure Stream Analytics، وDataflow من Google Cloud، وIBM Event Streams.

وتتطلب الأنواع المختلفة من معالجة البيانات أنواعًا مختلفة من أدوات تكامل البيانات. وتتضمن منصات البيانات المتدفقة ميزات للتكامل، لكن ظهور نوع أكثر شمولًا من حلول التكامل يمكن أن يساعد الشركات على دمج مهام سير عمل البيانات المتدفقة في الوقت الفعلي، وأنواع أخرى من مهام سير عمل المعالجة، مثل المعالجة الدفعية وعمليات ETL، داخل الحل نفسه. ويمكن لهذه القدرة أن تساعد في الحد من انتشار الأدوات.

للاستفادة بنجاح من تدفق البيانات في الوقت الفعلي، من المفيد النظر في التحديات الملازمة لتطبيقه والتخطيط لها.

فاستيعاب البيانات عند الطلب، ومعالجتها، وتحليلها، لا سيما في حالة الأحجام الضخمة والمعقدة من البيانات المعروفة باسم البيانات الضخمة، كلها مساعٍ مكلفة وكثيفة الاستهلاك للموارد. وعند تحديد ما إذا كان ينبغي تخصيص التمويل والموارد لتدفق البيانات في الوقت الفعلي، ينبغي للمؤسسات أن توازن بين تكاليفه وتكاليف الاعتماد على بيانات قديمة وصناعة قرار أبطأ.

ويُعد تحمل الأعطال، أي قدرة النظام على مواصلة العمل رغم تعطل أحد مكوناته، عنصرًا حاسمًا لنجاح تدفق البيانات في الوقت الفعلي. قد تؤدي الاضطرابات وفترات التوقف في أنظمة تدفق البيانات في الوقت الفعلي إلى فقدان البيانات، فضلًا عن تقويض السرعة التي تميز هذا التدفق عن غيره من أساليب المعالجة.

ولتفادي تعطل المسارات وضمان أفضل أداء ممكن، لا بد من توافر رؤية شاملة لمسارات البيانات المتدفقة. كما أن مراقبة المقاييس الرئيسية لجودة البيانات، ورصد المشكلات بسرعة، مثل تغيّر المخططات وانحراف البيانات، من شأنها أن تساعد المؤسسات على ضمان سلامة البيانات وموثوقية المسارات.

وقد يشمل تدفق البيانات في الوقت الفعلي تدفقًا مستمرًا لبيانات حساسة أو لمعلومات التعريف الشخصية (PII) الخاضعة للوائح خصوصية البيانات. ويمكن للتدابير التي تضمن أمن المسارات، بما في ذلك تشفير البيانات وضوابط الوصول، أن تساعد المؤسسات على الامتثال للأطر التنظيمية وتجنب اختراقات أمن البيانات.