ما المقصود بمستودع البيانات؟

تاريخيًا، كانت المؤسسات تستخدم بحيرات البيانات ومستودعات البيانات معًا في كثير من الأحيان. وكانت بحيرات البيانات تعمل كنظام شامل للبيانات غير المنسقة المنظمة، وشبه المنظمة، وغير المنظمة، والتي كانت تُنقل بعد ذلك باستخدام مسارات ETL/ELT إلى مستودع بيانات لاستخدامها في حالات الاستخدام اللاحقة مثل ذكاء الأعمال (BI) والتحليلات التنبئية.

ومع ذلك، فإن تنسيق هذه الأنظمة لتوفير بيانات موثوقة قد يكون مكلفًا من حيث الوقت والموارد، خصوصًا بالنسبة إلى أحمال تشغيل الذكاء الاصطناعي وتحليلات البيانات. وقد يسهم نقل البيانات في تقادم البيانات وتكرارها، بينما يمكن أن تؤدي الطبقات الإضافية من ETL/ELT إلى ظهور مخاطر تتعلق بجودة البيانات واتساقها. 

تخفف مستودعات بحيرات البيانات من هذه التحديات من خلال توفير قدرات إدارة البيانات والتحليلات على نمط مستودعات البيانات مباشرةً للبيانات المخزنة في بحيرات البيانات. ويساعد هذا النهج فرق البيانات على توحيد إدارة البيانات، وتسريع معالجة البيانات، وتحسين جودة البيانات، ودعم أحمال تشغيل الذكاء الاصطناعي (AI) والتعلم الآلي (ML) القابلة للتوسع.

على غرار بحيرة البيانات، يستخدم مستودع بحيرة البيانات تخزين الكائنات السحابي منخفض التكلفة. ويتيح هذا النهج تخزين البيانات بأي تنسيق تقريبًا (منظمة، وشبه منظمة، وغير منظمة).

وما يجعله مستودع بحيرة بيانات هو طبقة إدارة البيانات المصممة بأسلوب مستودعات البيانات والمبنية فوق هذا التخزين، والتي تضيف بنية وحوكمة للبيانات لدعم أحمال تشغيل التحليلات وذكاء الأعمال.

تعتمد معظم مستودعات بحيرات البيانات على تنسيقات الجداول المفتوحة (OTFs)، والتي تشمل عادةً:

• Apache Hudi (تم تطويره في الأصل داخل Uber وصُمم لمعالجة البيانات المتزايدة)
• Apache Iceberg (تنسيق عالي الأداء للجداول التحليلية الضخمة)
• Delta Lake (خيار شائع طورته شركة Databricks وتم طرحه كمصدر مفتوح في عام 2019)

وتعمل هذه التقنيات كطبقات بيانات وصفية تنظم ملفات البيانات المفتوحة (مثل المخزنة في Apache Parquet) ضمن جداول منطقية تشبه قواعد البيانات.

ويتيح هذا النهج للمؤسسات التعامل مع بيانات البحيرة غير المنسقة كما لو كانت بيانات منظمة داخل مستودع بيانات، مع دعم قدرات رئيسية مثل السفر عبر الزمن، وإدارة الإصدارات، وتطور المخطط، ومعالجة البيانات، واتساق المعاملات (ACID).

يرمز مصطلح "ACID" إلى الذرية، والاتساق، والعزلة، والمتانة. وتساعد هذه الخصائص على ضمان سلامة معاملات البيانات وموثوقيتها.)

ومن خلال هذه الطبقات والميزات الإضافية، تجعل مستودعات بحيرات البيانات بحيرات البيانات أكثر موثوقية وأسهل استخدامًا. كما تتيح للمستخدمين تشغيل استعلامات لغة الاستعلام المنظمة (SQL)، وأحمال تشغيل التحليلات، وحالات الاستخدام المتقدمة الأخرى مباشرةً على بحيرة البيانات، ما يسهم في تبسيط ذكاء الأعمال (BI)، والذكاء الاصطناعي (AI)، والتعلم الآلي (ML)، وذكاء البيانات (DI).

تتكون بنية مستودع بحيرة البيانات عادةً من خمس طبقات:

• طبقة الاستيعاب
• طبقة التخزين
• طبقة البيانات الوصفية
• طبقة واجهة برمجة التطبيق (API)
• طبقة الاستهلاك

تقوم هذه الطبقة الأولى بجمع البيانات من مجموعة من المصادر الداخلية والخارجية وتهيئتها للتخزين والتحليل. ويمكن لطبقة الاستيعاب استخدام موصلات للتكامل مع مصادر مثل أنظمة إدارة قواعد البيانات، وقواعد بيانات NoSQL، وتطبيقات SaaS، وموجزات وسائل التواصل الاجتماعي. ويمكن أن تتم عملية الاستيعاب إما على دفعات أو في الوقت الفعلي.

وتحتفظ طبقة التخزين بمجموعات البيانات المنظمة، وغير المنظمة، وشبه المنظمة داخل تخزين الكائنات السحابي منخفض التكلفة. تشمل الخدمات الشائعة كلاً من Amazon Simple Storage Service ‏(Amazon S3) وMicrosoft Azure Blob Storage وGoogle Cloud Storage وIBM Cloud Object Storage. 

وعادةً ما تُخزن البيانات بتنسيقات تخزين عمودية مُحسّنة لأحمال تشغيل التحليلات الكبيرة، مثل Apache Parquet أو Optimized Row Columnar (ORC). وتوفر هذه الطبقة إحدى المزايا الرئيسية لمستودع بحيرة البيانات، وهي قدرته على استيعاب جميع أنواع البيانات تقريبًا بكفاءة من حيث التكلفة.

تُعد طبقة البيانات الوصفية كتالوجًا موحدًا ينظم البيانات الموجودة في البحيرة ويوفر معلومات عنها. وعادةً ما تعتمد على تنسيقات الجداول المفتوحة مثل Apache Iceberg أو Apache Hudi أو Delta Lake.

وتتيح إمكانات هذه الطبقة معاملات ACID، والسفر عبر الزمن، وفرض المخطط، ما يساعد على تحسين حوكمة البيانات. وتُعد ضوابط الوصول القوية في هذه الطبقة ضرورية للمؤسسات التي تتعامل مع بيانات حساسة، كما أنها مفيدة لتتبع الوصول إلى البيانات والتعديلات التي تطرأ عليها للحفاظ على سجلات التدقيق.¹

توفر واجهات برمجة التطبيقات (APIs) وصولاً موحدًا إلى بيانات مستودع بحيرة البيانات وبياناته الوصفية. وعلى وجه التحديد، تتيح هذه الطبقة لمستهلكي البيانات والمطورين استخدام مجموعة من محركات التحليلات وأطر عمل التعلم الآلي (مثل TensorFlow) لتشغيل التحليلات المتقدمة وتدريب النماذج مباشرةً على بيانات مستودع بحيرة البيانات.

تستضيف الطبقة الأخيرة من بنية مستودع بحيرة البيانات التطبيقات والأدوات التي يمكنها الوصول إلى جميع البيانات المخزنة في البحيرة. وهذا بدوره يُتيح إمكانية الوصول إلى البيانات للمستخدمين عبر المؤسسة، حيث يمكنهم استخدام مستودع بحيرة البيانات لتنفيذ مهام مثل إنشاء لوحات معلومات ذكاء الأعمال والعروض المصورة للبيانات ووظائف التعلم الآلي.

تُعد بنية الميدالية للبيانات (MDA) نهجًا متعدد الطبقات لتصميم البيانات يركز على الجودة، ويضمن تنظيف بيانات مستودع بحيرة البيانات والتحقق من صحتها وجعلها موثوقة بشكل تدريجي أثناء انتقالها من الاستيعاب إلى الاستهلاك. ويمكن أن تساعد المؤسسات على إنشاء مستودع بحيرة بيانات قابل للتوسع وخاضع للحوكمة، ومناسب للتقارير التجارية اليومية وكذلك لأحمال تشغيل التحليلات المتقدمة والتعلم الآلي.

وتُعد قابلية التوسع هذه ضرورية للحفاظ على الجودة مع نمو أحجام البيانات. ووفقًا لدراسة معيارية أُجريت في يناير 2025، وجدت 87.4% من المؤسسات أن أطر عمل جودة البيانات القديمة أصبحت غير قابلة للاستدامة التشغيلية بعد تجاوز سبعة بيتابايت.²

وينظم إطار العمل هذا البيانات في ثلاث طبقات متميزة طوال دورة حياتها: البرونزية، والفضية، والذهبية، مع تحسين جودة البيانات في كل مرحلة.

• الطبقة البرونزية مخصصة للبيانات غير المنسقة. وتحافظ على البيانات الأصلية تمامًا كما تم استلامها من الأنظمة المصدرية. ويضمن ذلك وجود ملف مصدر غير قابل للتغيير دائمًا، ما يزيل خطر فقدان البيانات أو استبدالها أثناء التحول.
  
  
• أما الطبقة الفضية، فهي المكان الذي تُنظف فيه البيانات وتُنظم وتُثرى بشكل نشط. كما توحد السجلات المتعارضة أو المكررة ضمن مصدر بيانات واحد لأغراض التحليلات والتقارير التشغيلية.
  
  
• الطبقة الذهبية تحتوي على بيانات مُنقحة وجاهزة للأعمال — تمثل مصدرًا موثوقًا وموحدًا للحقيقة ومثاليًا لصناعة القرار الإستراتيجي. وتُعرّف جميع مقاييس الأعمال الحساسة وتُحسب سابقًا داخل هذه الطبقة.

كما تعزز الطبقة الذهبية جاهزية الذكاء الاصطناعي. فهي توفر تدفقًا عالي الجودة من البيانات الجاهزة للذكاء الاصطناعي مباشرةً إلى مسارات التعلم الآلي، ما يمكن أن يساعد على تحسين دقة النماذج وتقليل جهود إعداد البيانات.

ويضمن هذا التدرج المنظم للبيانات إمكانية تتبع أي ملف بيانات نهائي رجوعًا عبر مراحل تحويله إلى حالته الأصلية. كما يوفر تكاليف أكثر قابلية للتنبؤ وغالبًا أقل، إذ يمكن تحسين موارد تخزين البيانات والحوسبة وفقًا لغرض كل طبقة.

توفر مستودعات بحيرات البيانات العديد من السمات الرئيسية، تشمل ما يأتي:

• تنسيقات الملفات المفتوحة
• معاملات ACID
• البيانات الموحدة
• تخزين فعّال من حيث التكلفة
• مرونة أحمال التشغيل
• حوكمة بيانات قوية
• قابلية التوسع
• دعم تدفق البيانات في الوقت الفعلي

تعمل تنسيقات التخزين المفتوحة والعمودية (أو تنسيقات البيانات المفتوحة) مثل Apache Parquet أو ORC على تحسين أداء الاستعلامات وتقليل تكاليف التخزين من خلال الضغط الفعّال، وتقليص الأعمدة، ودفع الشروط. وتتوافق هذه التنسيقات مع محركات التحليلات الشائعة، ما يتيح للمؤسسات الوصول إلى البيانات نفسها في الوقت نفسه. وتساعد هذه الوظيفة المؤسسات على تجنب الاحتكار لمنتج معين وتحقيق قابلية التشغيل البيني بين أدواتها المختلفة.

تستخدم معظم مستودعات بحيرات البيانات تنسيقات الجداول المفتوحة مثل Apache Iceberg وApache Hudi وDelta Lake لتوفير معاملات ACID. وتضمن هذه المعاملات، مثل عمليات الإدراج والتحديث والحذف، بقاء البيانات متسقة وموثوقة أثناء عمليات البيانات وبعدها.

ينشئ نظام تخزين بيانات واحد منصة مركزية يمكنها تلبية جميع متطلبات بيانات الأعمال، ما يقلل من صوامع البيانات وتكرارها عبر الأنظمة والفرق. كما يُبسّط هذا التوحيد إمكانية ملاحظة البيانات من البداية إلى النهاية، إذ يتم تقليل حركة البيانات عبر مسارات البيانات والأنظمة المختلفة بشكل كبير.

تعتمد مستودعات بحيرات البيانات على تخزين الكائنات السحابي منخفض التكلفة، ما يجعلها أكثر كفاءة من حيث التكلفة لأحجام البيانات الكبيرة وأحمال التشغيل مقارنةً بمستودعات البيانات التقليدية. كما تُلغي البنية الهجينة لمستودع بحيرة البيانات الحاجة إلى صيانة أنظمة تخزين بيانات متعددة، ما يقلل غالبًا من النفقات التشغيلية.

يمكن لمستودعات بحيرات البيانات معالجة حالات استخدام مختلفة عبر دورة حياة إدارة البيانات. فهي قادرة على دعم سير عمل ذكاء الأعمال والعروض المصورة القائمة على البيانات، أو مشروعات علوم البيانات الأكثر تعقيدًا (مثل تدريب نماذج التعلم الآلي أو التحليلات الفورية) — وكل ذلك على البيانات نفسها.

تخفف بنية مستودع بحيرة البيانات من مشكلات حوكمة بحيرات البيانات من خلال كتالوجات البيانات الوصفية المركزية، وفرض المخططات، وأدوات إدارة جودة البيانات المدمجة. ويمكن تعزيز أمن البيانات باستخدام ضوابط الوصول، والمراقبة وعمليات التدقيق، وإخفاء هوية البيانات، وتقنية سلسلة الكتل، وحتى الحوسبة الكمية.^3,4

كما تفصل مستودعات بحيرات البيانات بين التخزين والحوسبة، ما يسمح لفرق البيانات بتوسيع كل منهما بشكل مستقل. ويوفر هذا الفصل أيضًا مرونة للوصول إلى البيانات نفسها مع استخدام محركات أو عُقَد حوسبة مختلفة لتطبيقات متعددة.

تم تصميم مستودعات بحيرات البيانات الحديثة لتلبية احتياجات الأعمال والتقنيات الحالية. وتحتوي العديد من مصادر البيانات على بيانات متدفقة في الوقت الفعلي من مصادر مثل أجهزة إنترنت الأشياء. ويدعم نظام مستودع بحيرة البيانات هذه المصادر من خلال استيعاب البيانات في الوقت الفعلي والمعالجة التزايدية.

لا يُعد مستودع بحيرة البيانات مجرد مزيج من مستودع بيانات وبحيرة بيانات. بل هو بنية موحدة تجمع أفضل ما في الاثنين داخل منصة واحدة.

تم تصميم مستودعات البيانات خصوصًا للتحليلات المنظمة. فهي توفر أداءً ممتازًا لتطبيقات ذكاء الأعمال وإعداد التقارير من خلال تخزين بيانات المؤسسة وتحويلها.

ومع ذلك، تفتقر مستودعات البيانات إلى المرونة التي توفرها بحيرات البيانات. كما تتأثر بكفاءتها المحدودة وارتفاع تكاليفها مع زيادة أحجام البيانات وأحمال التشغيل. كما تتطلب مستودعات البيانات مخططات صارمة، ما يعني أن البيانات يجب أن تتوافق مع نموذج محدد سابقًا قبل إدخالها إلى مستودع البيانات (المخطط عند الكتابة). وبسبب هذه القيود، فإنها لا تعمل بكفاءة مع البيانات غير المنظمة أو شبه المنظمة، والتي تُعد ضرورية لحالات استخدام الذكاء الاصطناعي والتعلم الآلي.

تتيح بحيرات البيانات للمؤسسات تخزين جميع أنواع البيانات —المنظمة، وشبه المنظمة، وغير المنظمة— من مصادر متنوعة في موقع واحد. كما تستخدم نهج المخطط عند الكتابة، بحيث تُطبق نماذج البيانات عند استخدام البيانات بدلاً من وقت تخزينها. وعادةً ما توفر أيضًا تخزين بيانات أكثر قابلية للتوسع وأقل تكلفة (وغالبًا ما يكون تخزين كائنات سحابيًا).

ومع ذلك، فهي لا تحتوي على أدوات مدمجة لمعالجة البيانات وتعتمد على قدرات خارجية لتنفيذ التحليلات. كما أن حجمها وتعقيدها قد يتطلبان خبرات مستخدمين أكثر تخصصًا من الناحية التقنية، مثل علماء البيانات ومهندسي البيانات. وبما أن حوكمة البيانات تتم في المراحل اللاحقة، فقد تكون بحيرات البيانات عرضة لصوامع البيانات، وقد تتحول لاحقًا إلى مستنقعات بيانات (حيث لا يمكن الوصول إلى البيانات الجيدة؛ بسبب سوء الإدارة).

تم تصميم مستودعات بحيرات البيانات لمعالجة تحديات مستودعات البيانات وبحيرات البيانات، مع الجمع بين مزاياهما ضمن منصة واحدة. فهي تعتمد على تخزين مرن منخفض التكلفة يدعم مجموعة واسعة من أنواع البيانات، مع توفير قدرات إدارة البيانات والأداء العالي لدعم ذكاء الأعمال، والتحليلات، وأحمال تشغيل الذكاء الاصطناعي/التعلم الآلي ضمن بنية واحدة.

ويؤكد Anson Kokkat، مدير المنتجات الرئيسي في IBM Software، أهمية مستودعات بحيرات البيانات لبرامج الذكاء الاصطناعي الحديثة:

"ترتبط جودة نماذج الذكاء الاصطناعي ارتباطًا وثيقًا بجودة منصة البيانات الخاضعة للحوكمة والقابلة للتوسع التي تعتمد عليها. ويصبح مستودع بحيرة البيانات المناسب هو الأساس الذي يحول بيانات المؤسسة غير المنسقة إلى ذكاء اصطناعي جاهز للإنتاج. وعند بنائه على بنية مفتوحة، فإن ذلك يترجم إلى مرونة في الذكاء الاصطناعي، إذ لن تكون مقيدًا بمحرك واحد، بل يمكنك التكامل مع أدوات مفتوحة المصدر موجودة بالفعل مثل Presto وApache Spark وOpenSearch وCassandra."

ومن الفوائد الرئيسية الأخرى: أن المؤسسات تستطيع غالبًا تطبيق مستودعات بحيرات البيانات إلى جانب بحيرات البيانات ومستودعات البيانات الحالية دون الحاجة إلى تفكيك وإعادة بناء كاملة.

تقدم العديد من الجهات المزودة اليوم مستودعات بحيرات بيانات مفتوحة. وتدعم هذه البنية البيانات المفتوحة والتنسيقات المفتوحة لتخزين كميات هائلة من البيانات بتنسيقات غير مرتبطة بمورد محدد، مثل Parquet وAvro وApache ORC. كما يمكنها الاستفادة من Apache Iceberg لمشاركة كميات كبيرة من البيانات عبر تنسيق جداول مفتوح.

تشمل التحديات الشائعة لمستودعات بحيرات البيانات عمليات التنفيذ المعقدة (بما في ذلك الترحيل من منصات البيانات الحالية)؛ وتحقيق التوازن بين حوكمة البيانات وأمنها وبين الوصول الموحد إلى البيانات؛ وضمان بقاء أداء الاستعلامات في المستوى الأمثل مع نمو أحجام البيانات.

نعم. تدعم مستودعات بحيرات البيانات أحمال تشغيل الذكاء الاصطناعي والتعلم الآلي من خلال توفير وصول موحد إلى كميات كبيرة من البيانات المتنوعة مع حوكمة قوية. كما تستخدم البيانات المفتوحة وتنسيقات الجداول المفتوحة لمنع الاحتكار لمنتج معين وتمكين التكامل المباشر بين طبقة التخزين وأُطر عمل التعلم الآلي.

يمكنه ذلك، ولكن ما إذا كان ينبغي القيام بذلك يعتمد على أولويات البيانات لديك. وتُعد مستودعات بحيرات البيانات خيارًا قويًا لتخزين البيانات الضخمة والمتنوعة ودعم أحمال تشغيل الذكاء الاصطناعي/التعلم الآلي، بينما تظل مستودعات البيانات مفيدة لاحتياجات البيانات الأكثر تنظيمًا أو التي تتطلب أداءً عاليًا وزمن انتقال قصيرًا. وتستخدم العديد من المؤسسات كلتا المنصتين.

ويتطلب تجنب مستنقعات البيانات تطبيق ممارسات قوية لحوكمة البيانات وجودة البيانات وأمان البيانات. وبالإضافة إلى ذلك، تحافظ بنية التخزين متعددة الطبقات (الميدالية) على تنظيم البيانات، بينما تساعد تنسيقات الجداول المفتوحة ومعاملات ACID على ضمان سلامة البيانات واتساقها وموثوقيتها.