ما المقصود بمنصة البيانات؟

تعتمد اليوم العديد من المؤسسات على سلاسل عمليات البيانات المعقدة لدعم تحليلات البيانات وعلوم البيانات  والقرارات القائمة على البيانات. توفر منصات البيانات الحديثة الأدوات التي تحتاجها المؤسسات لحماية جودة البيانات وتحقيق الاستفادة القصوى من بياناتها. 

على وجه التحديد، يمكن أن تساعد منصات البيانات في إبراز معارف قابلة للتنفيذ، والحد من صوامع البيانات، وتمكين تحليلات الخدمة الذاتية، وتبسيط الأتمتة وتشغيل تطبيقات الذكاء الاصطناعي).

تتألف منصة البيانات، التي يُشار إليها أيضًا باسم "مكدس البيانات"، من خمس طبقات أساسية: تخزين البيانات ومعالجتها، واستيعاب البيانات، وتحويل البيانات، وذكاء الأعمال ، والتحليلات وإمكانية مراقبة البيانات.

يمكن بناء منصات البيانات وتهيئتها لخدمة وظائف أعمال محددة. تتضمن بعض أنواع منصات البيانات الأكثر شيوعًا ما يأتي:

• منصة بيانات المؤسسة (EDP)
• منصة البيانات الضخمة (BDP)
• منصة بيانات السحابة (CDP)
• منصة بيانات العملاء (CDP)

طُورت منصات بيانات المؤسسة في الأصل لتكون مستودعات مركزية لتسهيل الوصول إلى البيانات عبر المؤسسة. وعادةً ما كانت هذه المنصات تضم البيانات محليًا، في قواعد البيانات التشغيلية أو مستودعات البيانات. وغالبًا ما كانت تتعامل مع البيانات المنظمة للعملاء والبيانات المالية وبيانات سلسلة التوريد.

تعمل منصات البيانات الحديثة اليوم على توسيع قدرات منصات بيانات المؤسسة التقليدية للتأكد من دقة البيانات وتوقيتها وتقليل صوامع البيانات وتمكين الخدمة الذاتية. غالبًا ما تكون منصات البيانات الحديثة مبنية على مجموعة من برامج السحابة الأصلية التي تدعم المزيد من المرونة والفعالية من حيث التكلفة.

المبدآن الأساسيان اللذان يحكمان منصات بيانات المؤسسة هما كالتالي:

• التوافر: تكون البيانات متاحة بسهولة في بحيرة البيانات أو مستودع البيانات أو صومعة البيانات التي تفصل بين التخزين والحوسبة. ويتيح تقسيم هذه الوظائف إمكانية تخزين كميات كبيرة من البيانات بتكلفة منخفضة نسبيًا.
  
  
• المرونة: تستند وظائف الحوسبة إلى السحابة، ما يتيح إمكانية التوسع التلقائي. على سبيل المثال، إذا استُخدمت معظم البيانات والتحليلات في يوم ووقت معين، فيمكن زيادة المعالجة تلقائيًا للحصول على تجربة أفضل للعملاء وتقليصها مع انخفاض احتياجات حمل التشغيل.

صُممت منصة البيانات الضخمة لجمع كميات كبيرة من البيانات ومعالجتها وتخزينها، وغالبًا ما يكون ذلك في الوقت الفعلي. ونظرًا للكميات الضخمة من البيانات التي تعالجها، غالبًا ما تستخدم منصات البيانات الضخمة الحوسبة الموزعة، حيث تنتشر البيانات عبر العديد من الخوادم.

قد تدير أنواع أخرى من منصات البيانات أيضًا كميات كبيرة من البيانات، ولكن منصة البيانات الضخمة مصممة خصوصًا لمعالجة تلك البيانات بسرعات عالية. يمكن لمنصة البيانات الضخمة على مستوى المؤسسات تشغيل استعلامات معقدة على مجموعات البيانات الضخمة، سواء كانت منظمة أو شبه منظمة أو غير منظمة. تشمل الاستخدامات النموذجية لمنصة البيانات الضخمة تحليلات البيانات الضخمة واكتشاف الاحتيال والتحليلات التنبئية وأنظمة التوصيات.

غالبًا ما تكون منصات البيانات الضخمة متاحة كمنتجات برمجيات كخدمة (SaaS) ، كجزء من عرض البيانات كخدمة (DaaS) أو في مجموعة الحوسبة السحابية.

كما يوحي الاسم، فإن السمة المميزة لمنصة البيانات على السحابة هي أنها قائمة على السحابة ويمكن أن توفر مزايا متعددة:

• غالبًا ما تكون منصة البيانات على السحابة متاحة على أساس الدفع حسب الاستخدام.
• المساحة التخزينية الإجمالية مرنة، لتوسيع نطاقها أو تقليصها حسب الحاجة.
• ليست هناك حاجة إلى موظفين لصيانة منصة أجهزة محلية.
• يمكن أن تضم منصة البيانات على السحابة منصات للبيانات الضخمة أو بيانات المؤسسة أو بيانات العملاء.
• تقدم العديد من منصات البيانات على السحابة إمكانات تكميلية مثل التحليلات المتقدمة والتعلم الآلي (ML) وأدوات وضع التصورات.

تجمع منصة بيانات العملاء بيانات العملاء وتوحدها من مصادر متعددة لبناء رؤية واحدة متماسكة وكاملة لكل عميل على حدة. 

قد تأتي المدخلات إلى منصة بيانات العملاء من نظام إدارة علاقات العملاء (CRM) الخاص بالمؤسسة، أو نشاط وسائل التواصل الاجتماعي، أو نقاط التواصل مع المؤسسة، أو أنظمة المعاملات، أو تحليلات الموقع الإلكتروني.

يمكن للرؤية الموحّدة الشاملة للعملاء أن تمنح المؤسسة معارف أكبر حول سلوكهم وتفضيلاتهم، ما يتيح تسويقًا أكثر استهدافًا وتجارب أفضل للمستخدمين وفرصًا جديدة لتحقيق إيرادات جديدة.

يمكن أن تأتي منصات البيانات بكل الأشكال والأحجام، اعتمادًا على احتياجات المؤسسة. تتضمن المنصة النموذجية هذه الطبقات الخمس على الأقل:

1. تخزين البيانات
2. استيعاب البيانات
3. تحويل البيانات
4. ذكاء الأعمال والتحليلات
5. إمكانية ملاحظة البيانات

الطبقة الأولى في العديد من منصات البيانات هي طبقة تخزين البيانات. ويعتمد نوع تخزين البيانات المستخدم على احتياجات المؤسسة ويمكن أن يشمل كلاً من التخزين المحلي والتخزين السحابي. تتضمن مخازن البيانات الشائعة ما يأتي:

مستودعات البيانات

يجمع مستودع البيانات- أو مستودع بيانات المؤسسة (EDW) - البيانات من مصادر مختلفة في مخزن بيانات مركزي واحد ومتسق لدعم تحليل البيانات واستخراج البيانات والذكاء الاصطناعي والتعلم الآلي. تُستخدم مستودعات البيانات غالبًا لإدارة البيانات المنظمة باستخدام حالات استخدام تحليلية محددة بوضوح.  

بحيرات البيانات

بحيرة البيانات هي بيئة تخزين منخفضة التكلفة التي عادةً ما تحتوي على بيتابايت من البيانات الأولية. يمكن لبحيرة البيانات تخزين البيانات المنظمة وغير المنظمة بتنسيقات مختلفة، ما يسمح للباحثين بالعمل بسهولة أكبر مع مجموعة واسعة من البيانات.

غالبًا ما تُبنى بحيرات البيانات في الأصل في نظام Hadoop البنائي، وهو مشروع مفتوح المصدر يعتمد على قواعد البيانات غير العلائقية. بدءًا من عام 2015 تقريبًا، بدأت العديد من بحيرات البيانات في التحول إلى السحابة. قد تخزن بنية بحيرة البيانات النموذجية الآن البيانات على منصة تخزين كائنات، مثل Amazon S3 من Amazon Web Services (AWS) واستخدام أداة مثل Spark لمعالجة البيانات.

مستودعات بحيرات البيانات

تجمع بحيرة البيانات الهجينة بين إمكانيات مستودعات البيانات وبحيرات البيانات في حل واحد لإدارة البيانات.

على الرغم من أن مستودعات البيانات تقدم أداءً أفضل من بحيرات البيانات، فإنها غالبًا ما تكون أكثر تكلفة ومحدودة في قدرتها على التوسع. تعمل بحيرات البيانات على تحسين تكاليف التخزين ولكنها تفتقر إلى هيكلية التحليلات المفيدة.

صُممت بحيرة البيانات الهجينة لمعالجة هذه التحديات من خلال استخدام تخزين الكائنات على السحابة لتخزين مجموعة واسعة من أنواع البيانات، أي البيانات المنظمة والبيانات غير المنظمة والبيانات شبه المنظمة. تجمع بنية بحيرة البيانات الهجينة بين هذا التخزين والأدوات اللازمة لدعم جهود التحليلات المتقدمة، مثل ذكاء الأعمال والتعلم الآلي.

يُطلق على عملية جمع البيانات من مصادر مختلفة ونقل البيانات إلى نظام التخزين اسم استيعاب البيانات. عند استيعاب البيانات، يمكن استخدامها لأغراض حفظ السجلات أو لمزيد من المعالجة والتحليل.

تعتمد فعالية البنية التحتية للبيانات في المؤسسة بشكل كبير على مدى جودة استيعاب البيانات ودمجها. وإذا كانت هناك مشكلات في أثناء الاستيعاب، مثل مجموعات البيانات المفقودة أو القديمة، فقد تتأثر كل خطوة من خطوات مهام سير العمل التحليلية النهائية.

يمكن أن يستخدم الاستيعاب نماذج مختلفة لمعالجة البيانات، اعتمادًا على احتياجات المؤسسة وبنية البيانات الشاملة الخاصة بها.

• المعالجة على دفعات هي الشكل الأكثر شيوعًا لاستيعاب البيانات. وهي لا تعالج البيانات في الوقت الفعلي، ولكنها بدلاً من ذلك تجمع البيانات وتضعها في دفعات، ثم تُرسل إلى المخزن. يمكن بدء المعالجة على دفعات باستخدام جدول زمني بسيط أو تنشيطها عند وجود شروط معينة محددة مسبقًا. وتُستخدم عادةً عندما لا تكون البيانات في الوقت الحقيقي ضرورية، لأنها تتطلب عملاً أقل وأقل تكلفة من المعالجة في الوقت الحقيقي.
   
• المعالجة في الوقت الحقيقي، وتسمى أيضًا المعالجة المتدفقة أو معالجة الدفق، لا تجمع البيانات. بدلاً من ذلك، يتم الحصول على البيانات وتحويلها وتحميلها عند التعرف عليها. تعد المعالجة في الوقت الحقيقي أكثر تكلفة لأنها تتطلب مراقبة مستمرة لمصادر البيانات.

تتعامل الطبقة الثالثة، وهي تحويل البيانات، مع تغيير بنية البيانات وتنسيقها لجعلها قابلة للاستخدام في تحليلات البيانات والمشاريع الأخرى. على سبيل المثال، يمكن تحويل البيانات غير المنظمة إلى تنسيق لغة الاستعلام المهيكلة (SQL) لتسهيل البحث فيها. ويمكن تحويل البيانات إما قبل وصولها إلى وجهة التخزين أو بعده.

حتى وقت قريب، كانت معظم نماذج استيعاب البيانات تستخدم إجراء الاستخراج والتحويل والتحميل (ETL) لأخذ البيانات من مصدرها وإعادة تنسيقها ونقلها إلى وجهتها. وهذا أمر منطقي عندما تستخدم الشركات أنظمة التحليلات الداخلية. يمكن أن يساعد تنفيذ الأعمال التحضيرية قبل تسليم البيانات إلى وجهتها في خفض التكاليف. عادةً ما تستخدم المؤسسات التي لا تزال تستخدم مستودعات البيانات المحلية عملية الاستخراج والتحويل والتحميل.

ومع ذلك، تفضل العديد من المؤسسات اليوم مستودعات البيانات المستندة إلى السحابة، مثل مستودع بيانات IBM Db2 Warehouse أو Microsoft Azure أو Snowflake أو BigQuery من Google Cloud. تُمكن قابلية التوسع على السحابة المؤسسات من استخدام نموذج الاستخراج والتحميل والتحويل (ELT) الذي يتجاوز عمليات التحويل قبل التحميل لإرسال البيانات الأولية مباشرةً إلى مستودع البيانات بسرعة أكبر. ثم تُحول البيانات حسب الحاجة بعد وصولها، عادةً عند تنفيذ استعلام.

تتضمن طبقة منصة البيانات الرابعة أدوات ذكاء الأعمال (BI) والتحليلات التي تمكّن المستخدمين من الاستفادة من البيانات لتحليلات الأعمال وجهود تحليلات البيانات الضخمة. على سبيل المثال، قد تتيح أدوات ذكاء الأعمال والتحليلات للمستخدمين الاستعلام عن البيانات أو تحويلها إلى تصورات أو معالجتها بطريقة أخرى.

بالنسبة إلى عديد من الإدارات في المؤسسة، فإن هذه الطبقة هي واجهة منصة البيانات، حيث يتفاعل المستخدمون مباشرةً مع البيانات.

يمكن للباحثين وعلماء البيانات العمل مع البيانات لاستخلاص معلومات ومعارف قابلة للتنفيذ. قد تستخدم إدارات التسويق أدوات ذكاء الأعمال والتحليلات لمعرفة المزيد عن عملائها وإيجاد مبادرات قيّمة. وقد تستخدم فرق سلسلة التوريد رؤى تحليلات البيانات لتبسيط العمليات أو العثور على بائعين متميزين.

استخدام هذه الطبقة هو السبب الرئيسي الذي يجعل المؤسسات تجمع البيانات في المقام الأول.

إمكانية ملاحظة البيانات هي ممارسة ملاحظة البيانات وإدارتها والحفاظ عليها لتعزيز جودة البيانات وتوافرها وموثوقيتها. وتغطي إمكانية ملاحظة البيانات العديد من الأنشطة والتقنيات، بما في ذلك التتبع والتسجيل والتنبيه واكتشاف حالات الخلل.

تتيح هذه الأنشطة، عند دمجها وعرضها على لوحة معلومات، للمستخدمين تحديد صعوبات البيانات وحلها في الوقت الفعلي تقريبًا. على سبيل المثال، تساعد طبقة المراقبة فرق هندسة البيانات في الإجابة عن أسئلة محددة حول ما يحدث خلف الكواليس في الأنظمة الموزعة. ويمكنها أن توضح كيفية تدفق البيانات عبر النظام وأين تتحرك البيانات ببطء وما الأعطال الموجودة.

يمكن لأدوات الملاحظة أيضًا تنبيه المديرين وفرق البيانات والأطراف المعنية الأخرى بشأن المشكلات المحتملة حتى يتمكنوا من معالجة المشكلات بشكل استباقي.

بالإضافة إلى تلك الطبقات الأساسية الخمس، تتضمن الطبقات الأخرى الشائعة في مكدس البيانات الحديث ما يأتي:

اكتشاف البيانات

البيانات التي لا يمكن الوصول إليها هي بيانات عديمة الفائدة. يساعد اكتشاف البيانات على التأكد من عدم بقاء البيانات مخفية. على وجه التحديد، يتعلق اكتشاف البيانات بجمع البيانات من مصادر متباينة وتقييمها واستكشافها، بهدف جمع البيانات من مصادر معزولة أو مصادر غير معروفة سابقًا لتحليلها.

إدارة البيانات

غالبًا ما تركز منصات البيانات الحديثة على حوكمة البيانات وأمن البيانات لحماية المعلومات الحساسة ودفع الامتثال التنظيمي وتسهيل الوصول وإدارة جودة البيانات. تتضمن الأدوات التي تدعم هذه الطبقة عناصر التحكم في الوصول والتشفير والتدقيق وتتبع سلسلة البيانات.

فهرسة البيانات وإدارة البيانات الوصفية

تستخدم كتالوجات البيانات البيانات الوصفية- البيانات التي تصف البيانات أو تلخصها - لإنشاء قائمة مفيدة وممكن البحث فيه لكل أصول البيانات في المؤسسة. على سبيل المثال، يمكن أن يساعد كتالوج بيانات الأشخاص على تحديد موقع البيانات غير المنظمة بسرعة أكبر، بما في ذلك المستندات والصور والصوت والفيديو وتصورات البيانات.

التعلم الآلي والذكاء الاصطناعي

تدمج بعض منصات البيانات على مستوى المؤسسات قدرات التعلم الآلي والذكاء الاصطناعي لمساعدة المستخدمين على استخراج معارف قيمة من البيانات. على سبيل المثال، قد تتميز المنصات بخوارزميات التحليلات التنبئية ونماذج التعلم الآلي لاكتشاف حالات الخلل والمعارف الآلية المدعومة بأدوات الذكاء الاصطناعي التوليدي.

يمكن لمنصة البيانات فائقة الإمكانات أن تساعد المؤسسة على تحقيق قيمة أكبر من بياناتها من خلال تمكين الموظفين التقنيين من التحكم في البيانات بشكل أكبر، والخدمة الذاتية الأسرع للمستخدمين العاديين.

يمكن أن تساعد منصات البيانات في القضاء على صوامع البيانات، وهي واحدة من أكبر العوائق التي تحول دون إمكانية استخدام البيانات. قد تحتفظ الإدارات المنفصلة - مثل الموارد البشرية والإنتاج وسلسلة التوريد - بمخازن بيانات منفصلة في بيئات منفصلة، ما يؤدي إلى عدم الاتساق والتداخل. عندما تكون البيانات موحدة على منصة البيانات، فإنها توفر مصدرًا واحدًا للحقيقة على مستوى المؤسسة (SSoT).

يمكن تحسين التحليلات وقرارات الأعمال من خلال إزالة الصوامع وتحسين تكامل البيانات. بهذه الطريقة، تُعد منصات البيانات مكونات رئيسية لنسيج بيانات قوي، ما يساعد صانعي القرار في الحصول على رؤية أكثر تماسكًا للبيانات المؤسسية. يمكن أن تساعد هذه الرؤية المتماسكة المؤسسات على رسم روابط جديدة بين البيانات وتسخير البيانات الضخمة لاستخراج البيانات والتحليلات التنبئية.

يمكن لمنصة البيانات أيضًا تمكين المؤسسة من دراسة عمليات البيانات كاملةً وإيجاد كفاءات جديدة. كما يمكن لمنصة البيانات على مستوى المؤسسة أن تسرّع الوصول إلى المعلومات، ما يعزز الكفاءة في اتخاذ القرارات الداخلية والجهود الموجهة للعملاء. 

وأخيرًا، يمكن لمنصة البيانات المُدارة جيدًا أن توفر تخزينًا متنوعًا ومتكررًا للبيانات، ما يحسّن مرونة المؤسسة في مواجهة الهجمات الإلكترونية أو الكوارث الطبيعية.