ما المقصود بتكامل البيانات السحابية؟

يهدف تكامل البيانات السحابية إلى تحسين الوصول إلى البيانات السحابية وإتاحتها عبر المؤسسة، مع ضمان بقاء البيانات آمنة وخاضعة للحوكمة وعالية الأداء، وذلك كجزء من استراتيجية أشمل لإدارة بيانات المؤسسة. وتُعد هذه القدرات الأساسية بالغة الأهمية، لا سيما مع سعي المؤسسات إلى تبني الذكاء الاصطناعي، وتحسين تجربة العملاء، وتوسيع نطاق التحليلات الفورية، في ظل الزيادة الهائلة في حجم البيانات وسرعتها وتنوعها.

ويندرج تحت مفهوم تكامل البيانات السحابية نوعان فرعيان: تكامل البيانات في البيئات السحابية الهجينة، وتكامل البيانات في البيئات متعددة السحابات.

• تكامل البيانات في البيئات السحابية الهجينة: يدمج البيانات الموجودة في السحابة العامة، والسحابة الخاصة، والبنية التحتية المحلية.
  
  
• تكامل البيانات في البيئات متعددة السحابات: يدمج البيانات الموجودة في الخدمة السحابية من أكثر من مزود سحابة واحد.

واليوم، تعمل معظم المؤسسات في بيئات هجينة متعددة السحابات تشمل خدمات سحابية عامة وخاصة من عدة مزودين. وفي هذا النموذج، يوفر تكامل البيانات السحابية الأساس لضمان بقاء البيانات متاحة وموثوقة وقابلة للاستخدام أينما وُجدت.

يوفر تخزين بيانات المؤسسة في السحابة مزايا واضحة، أبرزها التخلص من القيود الصارمة على السعة التخزينية، والقدرة على تخزين كميات هائلة من البيانات الضخمة بسهولة. وتشمل المزايا الشائعة الأخرى الفعالية من حيث التكلفة، وقابلية التوسع، وتحسين استمرارية الأعمال.

وبفضل هذه المزايا، سارعت المؤسسات إلى نقل بياناتها إلى السحابة، مع الإبقاء في الوقت نفسه على بعض البيانات داخل بنيتها المحلية لتلبية متطلبات الأداء أو الامتثال التنظيمي. وتتوقع بعض التقديرات أن يصل الإنفاق على التخزين السحابي للمؤسسات إلى 128 مليار دولار أمريكي بحلول عام 2028.¹ كما تشير تقديرات أخرى إلى أن حجم البيانات المخزنة على مستوى العالم سيتضاعف بين عامي 2024 و2029.²

الآن، أصبحت بيانات السحابة المؤسسية، وهي من أكثر أصول المؤسسة أهمية، موزعة بشكل متزايد عبر البيئات السحابية الهجينة والبيئات متعددة السحابات، وفي مجموعة واسعة من التنسيقات المُهيكلة وغير المُهيكلة.

وقد أدت هذه البيانات المتباينة إلى مشهد بيانات مجزأ، حيث تنعزل المعلومات داخل الفرق والمنصات والبيئات المختلفة، مما يجعل استخدام البيانات تحديًا أمام الفرق. وفي الوقت نفسه، يستمر حجم البيانات الناتجة عن التطبيقات، وأجهزة إنترنت الأشياء (IoT)، وبيانات المعاملات في النمو عبر الأنظمة السحابية والأنظمة المحلية على حد سواء.

ويمكن لتكامل البيانات السحابية أن يساعد بدرجة كبيرة في معالجة هذا التعقيد. فهو يدمج البيانات ويوحدها عبر البيئات السحابية والبيئات المحلية. ويجعل هذا المنظور الموحد بيانات السحابة متاحة وقابلة للاستخدام في التحليل واتخاذ القرار. وفي عصر يتسم بسرعة الابتكار وتزايد تجزؤ البيانات، تصبح هذه القدرة ضرورية.

يمكن أن تعيق التجزئةُ الابتكارَ وتتسبب في اتخاذ قرارات غير متسقة أو غير دقيقة أو بوتيرة أبطأ، مما يحد من قدرة المؤسسة على الابتكار والتكيف وتحقيق الكفاءة التشغيلية. وفي الواقع، ووفقًا لبيانات صادرة عن معهد IBM Institute for Business Value، يقول 68% من الرؤساء التنفيذيين الذين شملهم الاستطلاع إن بنية البيانات المتكاملة على مستوى المؤسسة عنصر بالغ الأهمية لتمكين التعاون بين الوظائف المختلفة ودفع الابتكار.³

وتعتمد مبادرات الذكاء الاصطناعي (AI)، على وجه الخصوص، على بيانات موحدة وموثوقة ومتسقة. ومن دون استراتيجية قوية لتكامل البيانات، قد تواجه المؤسسات صعوبة في تشغيل الذكاء الاصطناعي على نطاق واسع.

ويتبع تكامل البيانات السحابية الخطوات المعتادة لتكامل البيانات، لكنه قد يختلف من حيث الترتيب التشغيلي والتفاصيل التقنية، وتحديدًا في كيفية تصميم مسارات البيانات لتنسيق حركة البيانات ومعالجتها عبر البيئات السحابية الموزعة والبيئات الهجينة.

1. تحديد مصادر البيانات: في تكامل البيانات السحابية، تتمتع مصادر البيانات بخصائص خاصة بالبيئات السحابية. وتشمل هذه المصادر عادة مستودعات البيانات السحابية، وبرمجيات "البرامج كخدمة" (SaaS)، والتطبيقات السحابية، وأنظمة تخزين الكائنات (Cloud Object Storage) السحابية، وأنظمة المصادر الهجينة التي تمتد عبر الأنظمة القديمة المحلية ومخازن البيانات القائمة على السحابة.
   
   
2. استخراج البيانات: تُستخرج البيانات من المصادر السحابية والهجينة باستخدام أدوات وعمليات أصلية للسحابة تدعم عادة استيعاب البيانات التدريجي وبزمن شبه حقيقي، بالإضافة إلى المعالجة الدفعية التقليدية عند الحاجة. وعادة ما تتضمن عملية الاستخراج واجهات برمجة التطبيقات (APIs) أو الموصلات، سواء كانت مُدارة أو مدمجة.
   
   
3. تخطيط البيانات: تحدد مخططات التعيين كيفية توافق عناصر البيانات من أنظمة مختلفة مع بعضها البعض. تساعد هذه الخطوة في ضمان توافق البيانات أثناء عملية التكامل. في تكامل بيانات السحابة، يجب أن تتناسب عمليات التعيين مع انحراف المخطط الشائع في المصادر السحابية ومصادر SaaS.
   
   
4. تحميل البيانات: يُعد نهج الاستخراج والتحميل والتحويل (ELT) هو النهج السائد في تكامل البيانات السحابية، حيث تُحمّل البيانات إلى النظام المستهدف، مثل مستودع البيانات أو بحيرة البيانات أو مستودع بحيرة البيانات، قبل تحويلها. وتستخدم هذه الخطوة التخزين السحابي القابل للتوسع والحوسبة السحابية لنقل كميات كبيرة من البيانات السحابية بكفاءة.
   
   
5. تحويل البيانات: تحويل البيانات يحوّل البيانات ويثريها إلى تنسيق موحد لدعم الدقة والتوافق مع المراحل اللاحقة. وعادة ما تستخدم عمليات التحويل خدمات أصلية للسحابة وتتبع نهج ELT، مع الاستفادة من المعالجة المتوازية والتشغيل المستمر لإتاحة الوصول إلى البيانات عند الطلب في البيئات السحابية.
   
   
6. التحقق من صحة البيانات وضمان الجودة: تساعد ضوابط الجودة على ضمان دقة البيانات وجودتها من خلال التحقق من الأخطاء، وحالات عدم الاتساق، ومشكلات سلامة البيانات. تُستخدم فحوصات التحقق الآلية على نطاق واسع للحفاظ على الاتساق عبر تنسيقات البيانات والرموز والأنواع والنطاقات.

وكما هو الحال في تكامل البيانات التقليدي، يوفّر تكامل البيانات السحابية مجموعة واسعة من المزايا، من بينها:

• الوصول الموحّد إلى البيانات
• جودة البيانات واتساقها
• قابلية التوسّع والمرونة
• تسريع وتيرة الابتكار

يمكن للمؤسسات التي تنفذ تكامل البيانات السحابية أن تواجه مجموعة من التحديات التقنية والتشغيلية التي تمتد عبر الحوكمة، والأداء، والمعالجة في الوقت الفعلي، ونماذج النشر.

• الحوكمة والأمن والامتثال
• الأداء وقابلية التوسع
• تكامل البيانات في الوقت الفعلي
• عمليات النشر الهجينة

يؤدي تكامل البيانات عبر الأنظمة إلى زيادة عدد نواقل الهجوم المحتملة، وما يصاحب ذلك من ارتفاع مخاطر الوصول غير المصرح به وانكشاف المعلومات الحساسة. وإلى جانب المخاوف المرتبطة بأمن البيانات، قد يخضع نقل بيانات العملاء عبر المناطق، أو الاختصاصات القضائية، أو البيئات السحابية، لمتطلبات قانونية ومتطلبات متفاوتة تتعلق بإقامة البيانات. ويجب على المؤسسات أن تضمن امتثال تدفقات البيانات للوائح المعمول بها، مثل GDPR وHIPAA وPCI DSS.

ويمكن أن يساعد تشفير البيانات، سواء أثناء النقل أو أثناء السكون، إلى جانب المصادقة القوية، والأذونات، والتفويض عند كل نقطة تكامل، في الحد من هذه المخاطر. كما يمكن لإطار قوي لحوكمة البيانات أن يسهم في تعزيز الأمن. ويمكن لمنصات تكامل البيانات التي تتضمن ميزات أمان مدمجة وشهادات امتثال أن تساعد في خفض العبء التشغيلي، في حين توفر المنصات المدارة من جانب العميل أو المستضافة محليًا قدرًا أكبر من التحكم في بروتوكولات الأمان، وإنفاذ الامتثال، وإدارة البنية التحتية.

يعد تحقيق التوازن بين الأداء والتكلفة والبيانات المعقدة تحديا أساسيا في التكامل السحابي. ما لم تكن أدوات تكامل البيانات مصممة للتوسع، فقد تواجه صعوبة في التعامل مع أحجام كبيرة من البيانات. وقد يؤدي التحميل الزائد على مسارات استيعاب البيانات إلى إبطاء معالجة البيانات، والتسبب في تأخير عمليات الأعمال، وإنتاج مخرجات غير متسقة، ورفع التكاليف.

ويمكن للمؤسسات إعطاء الأولوية للحلول التي تدعم موصلات عالية الإنتاجية، والمعالجة المتوازية، والتقسيم لتجزئة مجموعات البيانات الكبيرة. كما يمكن أن توفر ميزات المراقبة وقابلية الملاحظة المدمجة رؤية شاملة لتدفقات البيانات واستخدام موارد التخزين، بما يساعد على منع الاختناقات ويضمن أداءً عاليًا بغض النظر عن تقلبات أحجام البيانات. ويُعد اختيار نهج التكامل المناسب أمرًا بالغ الأهمية أيضًا. فعلى سبيل المثال، تُحوِّل مسارات ELT البيانات بعد تحميلها، مستفيدةً من قوة الحوسبة المرنة التي توفرها المنصات السحابية أو مستودعات البيانات لمعالجة البيانات على نطاق واسع.

ويزداد دمج البيانات في الوقت الفعلي أو بزمن شبه حقيقي أهميةً بالنسبة إلى الشركات. إذ تتطلب عملية اتخاذ القرارات الفورية، وأحمال التشغيل الخاصة بالذكاء الاصطناعي، وغيرها من العمليات الحساسة زمنيًا، تدفقات مستمرة من البيانات الحديثة. ومع ذلك، يطرح دمج البيانات في الوقت الفعلي تحديات تقنية، لا سيما عند التعامل مع أحجام كبيرة من البيانات حيث تكون المعالجة بزمن انتقال قصير مطلوبة. كما يمكن أن تضيف البنى السحابية الموزعة مزيدًا من زمن الانتقال ومخاوف تتعلق بموثوقية الشبكة.

وتتيح حلول تكامل البيانات السحابية التي تدعم البنى المعتمدة على الأحداث (EDAs) للأنظمة التواصل وتبادل البيانات في الوقت الفعلي. ويمثل الاعتماد المتزايد على البنى المعتمدة على الأحداث في البيئات السحابية الأصلية تحولًا كبيرًا بعيدًا عن البنى التقليدية الموجهة إلى المعالجة الدفعية، نحو بنى أكثر ديناميكية واستجابة تعالج الأحداث، أي سجلات البيانات، فور وقوعها.

ويعد رصد بيانات التغيير (CDC) أيضًا أحد أساليب التكامل في الوقت الفعلي التي تدعمها كثير من الحلول. فهو يرصد تغييرات البيانات ويوصلها إلى أنظمة مستهدفة مختلفة فور حدوثها، بما يتيح مزامنة البيانات بزمن شبه حقيقي.

ولدى كثير من الشركات أحمال تشغيل محلية خاضعة للتنظيم، مثل مجموعات البيانات المخزنة في Oracle Database أو IBM Db2 أو SQL Server، وهي موجودة خارج السحابة. وفي هذه الحالات، لا يكون نشر تكامل البيانات المعتمد بالكامل على السحابة عمليًا، إذ قد تظهر تحديات في قابلية التشغيل البيني بين الأنظمة المحلية والمنصات السحابية.

ويساعد النشر الهجين على معالجة هذه التحديات من خلال معالجة البيانات في موضع وجودها بالفعل، وتشغيل المسارات في البيئة نفسها، سواء كانت سحابية أم محلية. تساعد هذه الإمكانات على تقليل تعقيد تكامل الأنظمة القديمة والأنظمة السحابية الأصلية. كما يمكن أن تكون فعالة من حيث التكلفة، بما يساعد على الحد من انتشار الأدوات. 

وتستخدم عمليات نشر تكامل البيانات الهجينة "التنفيذ عن بُعد للمحرك"، وهو نموذج سحابي أصلي لتطوير المسارات يفصل بين مرحلة التصميم ومرحلة التشغيل. ويجري تصميم المسارات مركزيًا وتشغيلها في البيئة المستهدفة، سواء في أحمال التشغيل من السحابة إلى السحابة، أو من السحابة إلى البيئات المحلية، أو من البيئات المحلية إلى السحابة. وتحقق هذه المرونة فوائد متراكمة، منها تقليل حركة البيانات، وخفض تكاليف الخروج، وتقليص زمن الانتقال إلى الحد الأدنى.

وهناك العديد من حالات الاستخدام للاستفادة من الذكاء الاصطناعي في تسريع عمليات تكامل البيانات وتبسيطها وتحسينها. وتشمل الأمثلة على ذلك تعيين المخططات بمساعدة التعلم الآلي، وواجهات معالجة اللغة الطبيعية (NLP) لتحويل البيانات، والذكاء الاصطناعي التوليدي لإنشاء بيانات اصطناية، والتقنيات المدعومة بالذكاء الاصطناعي لتحسين تكرار البيانات.⁴

ويعد الذكاء الاصطناعي الوكيل أيضًا قدرة حديثة وناشئة في مجال تكامل البيانات، تتيح لفرق البيانات التعبير عن متطلبات التكامل باستخدام اللغة الطبيعية. وبناءً على هذه المدخلات، يمكن للوكيل أن يقترح بصورة مستقلة خططًا لتصميم التكامل، ثم يواصل المساعدة في تحسين مهام سير العمل بمرور الوقت مع تغير بيئات البيانات واحتياجات الأعمال.

وتساعد هذه القدرات القائمة على الوكلاء مهندسي البيانات على تصميم مسارات البيانات وتنفيذها بسرعة أكبر، وتقليل الجهود المستهلكة للوقت، مثل إدخال البيانات يدويًا وترحيل البيانات. كما يمكنها تقليل التأخير بالنسبة إلى المستخدمين غير التقنيين، الذين غالبًا ما يتعذر عليهم الوصول إلى البيانات من دون مساعدة فرق هندسة البيانات.

وكما هو الحال مع مبادرات الذكاء الاصطناعي الأخرى، يعتمد التبني الناجح على إبقاء العنصر البشري ضمن دورة العمل، إلى جانب الحفاظ على حوكمة قوية للذكاء الاصطناعي واستمرار الشفافية.