ما المقصود ببنية البيانات؟

غالبًا ما يستند تصميم بنية البيانات إلى متطلبات العمل واحتياجات البيانات، وهي ما يستخدمه معماريّو البيانات ومهندسو البيانات لتحديد نموذج البيانات والهياكل الأساسية الداعمة له.يسهِّل التصميم عادةً استراتيجية العمل أو احتياجات العمل، مثل إعداد التقارير أو مبادرة علم البيانات.

مع توسع المؤسسات في بياناتها، أصبحت الحاجة إلى بنية منظمة وقابلة للتكيف أمرًا بالغ الأهمية. ومع ذلك، ذكر 94% من قادة البيانات أن غياب بنية بيانات محددة يُعَد من أبرز التحديات لديهم.¹

يمكن لبنية بيانات حديثة أن تساعد على توحيد ومعيارية بيانات المؤسسة، ما يُتيح مشاركة سلسة للبيانات عبر مجالات الأعمال. كما توفِّر أساسًا قابلًا للتوسع لحالات الاستخدام المتقدمة مثل تحليلات البيانات في الوقت الفعلي والذكاء الاصطناعي التوليدي، ما يساعد الفرق على استخلاص القيمة من البيانات بسرعة وبموثوقية أكبر.

مع توليد تقنيات مثل إنترنت الأشياء لمصادر بيانات جديدة، تضمن البنية المصممة جيدًا بقاء البيانات قابلة للإدارة ومتكاملة وذات فائدة طوال دورة حياتها. فبإمكانها تقليل التكرار، وتحسين جودة البيانات، والمساعدة على إزالة العزلة عبر ربط الأنظمة على مستوى المؤسسة.

عند تصميمها بشكل صحيح، لا تُعَد بنية البيانات مجرد هيكل تقني، بل قدرة استراتيجية تحوِّل البيانات غير المنسقة إلى أصل قابل لإعادة الاستخدام.

تجمع بنية البيانات بين العديد من المفاهيم المتداخلة. ويمكن لما يلي أن يساهم في رسم الملامح العامة:

• المنصة: البيئة التقنية الأساسية التي تستضيف أنظمة البيانات وتُديرها. ويتضمن ذلك الأدوات المستندة إلى السحابة أو المحلية.

• نموذج البيانات: تمثيل تفصيلي لكيفية تنظيم البيانات داخل النظام. وهو يحدِّد الكيانات والعلاقات والتنسيقات.

• إطار العمل: منهجية استراتيجية يتم استخدامها لتصميم بنية المؤسسة وإدارتها. توفِّر أطر العمل مناهج منظمة لمواءمة أنظمة البيانات مع أهداف الأعمال.

• المكوِّن: عنصر وظيفي يؤدي دورًا محددًا داخل البنية. ومن الأمثلة عليه المسارات للحركة، وبحيرة البيانات للتخزين، والكتالوجات لإدارة البيانات الوصفية.

• النمط: حل قابل للتكرار لتحدي معماري مشترك. تصف الأنماط مثل نسيج البيانات أو شبكة البيانات طرقًا تم اختبارها لتحسين قابلية التوسع أو الحوكمة أو إمكانية الوصول.

تميل بنية البيانات الحديثة إلى اتباع أحد نهجين أساسيين: مركزي أو لامركزي. توجِّه هذه النماذج كيفية جمع بيانات المؤسسة وتخزينها وحوكمتها.

البنى المركزية تجمع البيانات في منصات موحدة -مثل بحيرات البيانات أو مستودعات البيانات- تُدار وفق نموذج واحد لحوكمة البيانات. ويساعد ذلك على تقليل التكرار وتحسين جودة البيانات ودعم نمذجة البيانات المنظمة باستخدام لغة الاستعلام المنظمة (SQL) وقواعد البيانات العلائقية الأخرى.

توزِّع البنى اللامركزية ملكية البيانات عبر نطاقات الأعمال. تُدير الفرق البيانات محليًا، غالبًا باستخدام أنظمة قواعد البيانات غير العلائقية (المعروفة أيضًا باسم "قواعد بيانات NoSQL") أو المسارات القائمة على الأحداث مع مخططات خاصة بها وبيانات وصفية وضوابط وصول. يُتيح هذا النهج تكامل البيانات في الوقت الفعلي ومعالجتها، إضافةً إلى تدفق البيانات وحالات استخدام التعلم الآلي (ML).

تجمع معظم المؤسسات بين النموذجين لتحقيق توازن بين قابلية التوسع وتكامل البيانات والمرونة. يمكن أن يساعد هذا النهج الهجين على دعم مصادر البيانات المختلفة، وتقليل عزلة البيانات، وتمكين العمليات السحابية الأصلية على منصات مثل AWS أو Microsoft Azure.

وبغض النظر عن نموذج البنية الذي تتبناه المؤسسة، فإن النجاح يعتمد على مدى جودة تنظيم البيانات الأساسية. وهنا يأتي دور نمذجة البيانات.

بينما تركِّز بنية البيانات على كيفية تدفق البيانات عبر الأنظمة، تركِّز نمذجة البيانات على كيفية هيكلة البيانات داخل تلك الأنظمة. تحدِّد نماذج البيانات شكل المعلومات وعلاقاتها وقيودها أثناء انتقالها عبر البنية.

تتضمن وثائق بنية البيانات عادةً ثلاثة أنواع من النماذج:

• نماذج البيانات المفاهيمية
• نماذج البيانات المنطقية
• نماذج البيانات المادية

ويُشار إليها أيضًا باسم "نماذج المجالات"، حيث توفِّر النماذج المفاهيمية للبيانات رؤية شاملة لما سيحتويه النظام، وكيف سيتم تنظيمه، وقواعد العمل التي سيتم تطبيقها. يتم إنشاء هذه النماذج عادةً في المراحل الأولى من تخطيط المشروع، وتشمل فئات الكيانات (العناصر المحددة التي سيتم تتبُّعها في نموذج البيانات)، وخصائصها وقيودها، والعلاقات فيما بينها، وأي متطلبات ذات صلة بالأمن أو تكامل البيانات.

النماذج المنطقية للبيانات أقل تجريدًا من النماذج المفاهيمية، وتوفِّر تفاصيل أوفى حول الكيانات والعلاقات داخل نطاق معين. تتَّبِع هذه النماذج تدوينًا رسميًا لنمذجة البيانات وتحدِّد سمات البيانات -مثل أنواع البيانات وأطوالها- مع توضيح كيفية ارتباط الكيانات ببعضها. من المهم أن النماذج المنطقية تظل محايدة تقنيًا ولا تتضمن متطلبات خاصة بالأنظمة.

النماذج المادية للبيانات هي الأكثر تفصيلًا بين نماذج البيانات الثلاثة، إذ تَصِف كيفية تنفيذ قاعدة البيانات. وهي تحدِّد هياكل الجداول والفهارس وتنسيقات التخزين واعتبارات الأداء. تركِّز هذه النماذج على الجوانب الفنية لكيفية تخزين البيانات المنظمة والوصول إليها، ويتم استخدامها لتوجيه إنشاء المخطط وتكوينه وتحسينه.

تشكِّل نماذج البيانات بنية المعلومات داخل النظام. وانطلاقًا من ذلك، توجِّه الأطر المعمارية الأوسع كيفية تنفيذ النماذج والأنظمة المحيطة بها.

يمكن لبنية البيانات أن تستفيد من أطر العمل الشائعة لبنية المؤسسات، بما في ذلك TOGAF وDAMA-DMBOK 2 وإطار Zachman لبنية المؤسسات.

تم تطوير منهجية بنية المؤسسة هذه في عام 1995 من قِبَل The Open Group. وتعتمد بنيتها على أربع ركائز:

• بنية الأعمال التي تحدِّد الهيكل التنظيمي للمؤسسة واستراتيجية البيانات والعمليات.

• بنية البيانات التي تَصِف الأصول المفاهيمية والمنطقية والمادية وكيفية تخزينها وإدارتها طوال دورة حياتها.

• بنية التطبيقات التي تمثِّل أنظمة التطبيقات وكيفية ارتباطها بعمليات الأعمال الرئيسية وارتباطها ببعضها.

• البنية التقنية التي تصوِّر البنية التحتية للبيانات (الأجهزة والبرمجيات والشبكات) اللازمة لدعم التطبيقات ذات المهام الحساسة.

يوفر TOGAF إطار عمل كاملاً لتصميم بنية تقنية المعلومات الخاصة بالمؤسسة واستخدامها، بما في ذلك منظومة بياناتها.

تأسَّست DAMA International في الأصل باسم Data Management Association International، وهي مؤسسة غير ربحية تكرِّس جهودها لدفع مسيرة إدارة البيانات والمعلومات. يتناول دليل DAMA لإدارة البيانات (DAMA-DMBOK 2) جوانب متعددة تشمل بنية البيانات، والحوكمة والأخلاقيات، ونمذجة البيانات وتصميمها، والتخزين، والأمن والتكامل.

تم تطوير هذا الإطار في الأصل على يد John Zachman في شركة IBM عام 1987، وهو يستخدم مصفوفة مكونة من 6 طبقات تبدأ من الطبقة السياقية ووصولًا إلى الطبقة التفصيلية، وهي محددة على أساس ستة أسئلة مثل "لماذا؟" و"كيف؟" و"ماذا؟". ويُعَد هذا الإطار وسيلة رسمية لتنظيم البيانات وتحليلها، ولكنه لا يتضمن طرقًا لتنفيذ ذلك.

يتم إنشاء بنية البيانات من عدة مكوِّنات مترابطة تُدير كيفية نقل البيانات وتخزينها وحوكمتها والوصول إليها. تشكِّل هذه العناصر الأساس التشغيلي لأنظمة البيانات، وتدعم كل شيء بدءًا من الاستيعاب وحتى التحليلات.

تنقسم مكوِّنات بنية البيانات عادةً إلى أربع فئات عامة، لكل منها عدة فئات فرعية:

يتم التقاط البيانات من مصادر خارجية وداخلية وتنتقل إلى النظام للمعالجة والتخزين.

تستوعب المسارات البيانات وتحوِّلها وتنقلها من نقطة المصدر إلى حيث تتم معالجتها وتخزينها. يمكن لهذه الأنظمة اتباع أنماط الدفعات، مثل الاستخراج والتحويل والتحميل (ETL) والاستخراج والتحميل والتحويل (ELT). ويمكنها أيضًا بث البيانات في زمن شبه حقيقي. غالبًا ما تتضمن المسارات الحديثة منطق التحول وفحوصات الجودة والتحقق من صحة المخطط كجزء من التدفق.

تُتيح واجهات برمجة التطبيقات (APIs) والموصِّلات الجاهزة التكامل السلس بين أنظمة البيانات والتطبيقات وأدوات التحليلات. فهي توفِّر طريقة موحَّدة لتبسيط الوصول إلى البيانات عبر منصات مختلفة وهي أساسية لتبادل البيانات في الوقت الفعلي.

بمجرد استيعاب البيانات، يتم تخزينها في أنظمة قابلة للتوسع -سواء أكانت منظمة أم غير منظمة- حيث تصبح متاحة لمزيد من الاستخدام والتحليل.

يقوم مستودع البيانات بتجميع البيانات من مصادر بيانات علائقية مختلفة عبر مؤسسة في مستودع واحد مركزي ومتسق. بعد الاستخراج، تتدفق البيانات عبر مسار ETL، وتخضع لتحولات مختلفة لتلبية نموذج البيانات المحدد مسبقًا. عند تحميلها في نظام تخزين البيانات، تصبح البيانات متاحة لدعم مختلَف تطبيقات ذكاء الأعمال (BI) وعلم البيانات.

متجر البيانات هو نسخة مركَّزة من مستودع البيانات الذي يحتوي على مجموعة فرعية أصغر من البيانات ذات الصلة بفريق واحد أو مجموعة من الأطراف المعنية. من خلال تضييق النطاق، تُتيح متاجر البيانات الحصول على رؤى أسرع وأكثر استهدافًا مقارنةً بالعمل مع مجموعة بيانات المستودع الأوسع.

تخزِّن "بحيرة البيانات" البيانات غير المنسقة وغير المعالجة -بما في ذلك التنسيقات المنظمة وغير المنظمة- على نطاق واسع. على عكس مستودعات البيانات، لا تتطلب بحيرات البيانات نمذجة البيانات أو إعداد مسبق للبيانات، ما يجعلها مثالية لأعباء العمل المتعلقة بالبيانات الكبيرة.

يجمع مستودع بحيرة البيانات بين جوانب مستودعات البيانات وبحيرات البيانات في حل واحد لإدارة البيانات. فهو يجمع بين التخزين منخفض التكلفة ومحرك الاستعلام عالي الأداء والإدارة الذكية للبيانات الوصفية.

تُعَد قاعدة البيانات المستودع الرقمي الأساسي لتخزين البيانات وإدارتها وتأمينها. تُخزِّن أنواع قواعد البيانات المختلفة البيانات بطرق مختلفة. على سبيل المثال، تخزِّن قواعد البيانات العلائقية (المعروفة أيضًا باسم "قواعد بيانات SQL") البيانات في جداول تحتوي على صفوف وأعمدة محددة. يمكن لقواعد بيانات NoSQL تخزينها في هياكل بيانات متنوعة، بما في ذلك أزواج المفتاح-القيمة أو الرسوم البيانية.

مع تدفق البيانات وتراكمها، تضمن أدوات الحوكمة تنظيمها الجيد، وحمايتها، وسهولة اكتشافها طوال دورة حياتها.

يُعَد كتالوج البيانات مخزونًا مركزيًا من أصول بيانات المؤسسة. وهو يستخدم البيانات الوصفية لتوفير سياق حول كل مجموعة بيانات، بما في ذلك أصلها وبنيتها وملكيتها وسجل استخدامها وجودتها. تساعد كتالوجات البيانات المستخدمين في العثور على البيانات وتقييمها ودعم جهود الحوكمة والامتثال وتسهيل التعاون عبر الفرق.

تتعقب أدوات دورة الحياة رحلة البيانات عبر الأنظمة، وتوضِّح كيف تم تحويلها وأين نشأت. هذه الرؤية ضرورية لعمليات التدقيق واستكشاف الأخطاء وإصلاحها وفهم التبعيات. يمكن أن تُكمل منصات قابلية الملاحظة دورة الحياة من خلال مراقبة الأداء ومقاييس جودة البيانات.  

وأخيرًا، تصل البيانات إلى الأشخاص والأنظمة التي تستخدمها عبر لوحات المعلومات أو الاستعلامات أو الأدوات المدمجة التي تدعم اتخاذ القرارات.

يمكن لمنصات ذكاء الأعمال تحسين الوصول إلى البيانات من خلال العروض المصوَّرة ولوحات المعلومات. تساعد هذه الأدوات المستخدمين غير التقنيين على تفسير التوجهات ومراقبة مؤشرات الأداء الرئيسية (KPIs) واتخاذ القرارات القائمة على البيانات.

تُتيح نقاط نهاية SQL وواجهات الاستعلام الأخرى للمحللين وعلماء البيانات استكشاف البيانات وتحليلها بشكل مباشر. توفِّر أدوات مثل Apache Spark وIBM watsonx.data طبقة الحوسبة اللازمة لتنفيذ الاستعلامات عبر مجموعة البيانات على نطاق واسع.

تدعم بعض البنيات تسليم البيانات مباشرةً إلى التطبيقات أو مهام سير العمل أو واجهات برمجة التطبيقات. توفِّر منتجات البيانات المدمجة رؤًى حول العمليات اليومية، ما يُتيح صناعة القرار القائمة على البيانات.

يمكن للبيانات عبر مختلَف مكونات البنية أن تُغذِّي أيضًا سير عمل الذكاء الاصطناعي والتعلم الآلي. غالبًا ما يتم الحصول على بيانات التدريب من بحيرات البيانات، ويتم تحويلها من خلال المسارات واستخدامها لتطوير النماذج وإعادة تدريبها. يمكن بعد ذلك نشر هذه النماذج في المنتجات أو لوحات المعلومات أو عمليات الأعمال لتعزيز الأتمتة والتنبؤ.

يتضمن تنفيذ بنية البيانات ترجمة احتياجات العمل إلى خارطة طريق لجمع البيانات وتنظيمها وأمنها وإمكانية الوصول إليها. على الرغم من عدم وجود عمليتَي تنفيذ متطابقتين، إلا إن معظمها يتَّبِع نهجًا ينتقل من التخطيط إلى التنفيذ.

مع توسع المؤسسات، تتزايد الحاجة إلى بنية بيانات مرنة وقادرة على الصمود. تركِّز بنية البيانات الحديثة على قابلية التشغيل البيني، والوصول في الوقت الفعلي، والقدرة على إدارة البيانات كمنتج وليس كمجرد أصل. كما تُتيح قدرًا أكبر من التوحيد القياسي، وإدارة البيانات الوصفية، والديمقراطية عبر واجهات برمجة التطبيقات.

تتضمن الخصائص الرئيسية لبنية البيانات الحديثة ما يلي:

• تصميم السحابة الأصلية، لتوفير قابلية التوسع المرنة والتوافر العالي.

• مسارات البيانات الذكية، التي تجمع بين التكامل في الوقت الحقيقي وتدفق البيانات والتحليلات الإدراكية.

• التكامل السلس القائم على واجهات برمجة التطبيقات مع التطبيقات الحديثة والقديمة.

• تمكين البيانات في الوقت الفعلي، بما في ذلك التحقق من الصحة والتصنيف والحوكمة.

• الخدمات المنفصلة والقابلة للتوسع، والتي تدعم النمو المعياري وقابلية التشغيل البيني المفتوح.

• التنظيم القائم على المجالات، باستخدام الأحداث والخدمات المصغرة لتعكس هياكل الأعمال.

• التحسين المدمج، وموازنة الأداء والتكلفة والبساطة.

المؤسسات التي تعمل على تحديث بنى بياناتها التحتية تعتمد استراتيجيات بيانات جديدة تعكِس تعقيد بيئات اليوم الهجينة ومتعددة السُحب. وقد أدى هذا التحول إلى ظهور أنماط معمارية جديدة - خاصةً نسيج البيانات وشبكات البيانات.

يركِّز نسيج البيانات على أتمتة تكامل البيانات وإدارتها عبر البيئات الهجينة. ويستخدم البيانات الوصفية النشطة والتعلم الآلي؛ لاكتشاف العلاقات عبر الأنظمة وتنسيق تدفقات البيانات. يمكن لنسيج البيانات توفير منتجات البيانات تلقائيًا وتسليمها عند الطلب - ما يؤدي إلى تحسين الكفاءة التشغيلية والتقليل من صوامع البيانات.

تعمل شبكة البيانات على إزالة مركزية ملكية البيانات من خلال مواءمة البنية التحتية مع مجالات الأعمال. وتشجِّع منتجي البيانات -الأقرب إلى المصدر- على التعامل مع البيانات كمنتج وتصميم واجهات برمجة التطبيقات مع وضع المستهلكين في الاعتبار. يساعد هذا النموذج في القضاء على العوائق ويدعم إضفاء الطابع الديمقراطي على البيانات القابلة للتوسع عبر المؤسسة.

ورغم أن هذه الأساليب مختلفة، فإنها ليست متعارضة. حيث تطبِّق العديد من المؤسسات عناصر من كِلا الأمرين، وذلك من خلال استخدام أتمتة النسيج لتوسيع نطاق الحوكمة اللامركزية للشبكة.

يمكن لبنية البيانات المصممة بشكل جيد أن تقدِّم للشركات مزايا كبيرة، بما في ذلك:

• تقليل التكرار
• تحسين جودة البيانات
• تمكين التكامل
• إدارة دورة حياة البيانات

يمكن أن تؤدي حقول البيانات المتداخلة عبر مصادر مختلفة إلى حدوث تناقضات وأوجه قصور وضياع فرص تكامل البيانات. يمكن لبنية البيانات الجيدة توحيد كيفية تخزين البيانات وربما تقليل التكرار، ما يُتيح تحليلات أفضل جودة وأكثر شمولًا.

يمكن لبنيات البيانات المصممة جيدًا أن تحل بعض مشكلات بحيرات البيانات سيئة الإدارة، والمعروفة أيضًا باسم "مستنقعات البيانات". يفتقر مستنقع البيانات إلى معايير البيانات الملائمة -بما في ذلك جودة البيانات وممارسات إدارة البيانات- لتوفير رؤى ذات مغزى. يمكن أن تساعد بنى البيانات على فرض معايير حوكمة وأمن البيانات، ما يسمح بالإشراف المناسب على مسارات البيانات.

غالبًا ما تكون البيانات في صوامع نتيجةً للقيود التقنية على تخزين البيانات والعوائق التنظيمية داخل المؤسسة. تهدف بنى البيانات الحديثة إلى تسهيل تكامل البيانات عبر مختلَف المجالات، بحيث تتمكن الفرق الجغرافية ووحدات الأعمال المختلفة من الوصول إلى بيانات بعضها. يمكن أن يؤدي ذلك إلى فهم أفضل وأكثر اتساقًا للمقاييس ويُتيح رؤية أكثر شمولية للأعمال لإثراء صناعة القرار القائمة على البيانات.

تُتيح بنية البيانات الحديثة إمكانية معرفة كيفية إدارة البيانات بمرور الوقت. وعادةً ما تفقد البيانات قيمتها تدريجيًا مع مرور الوقت وتقل نسبة استخدامها. لذلك، يمكن نقل البيانات بمرور الوقت إلى أنواع تخزين أرخص وأبطأ بحيث تظل متاحة لإعداد التقارير وعمليات التدقيق، دون الحاجة إلى تكلفة التخزين فائق الأداء.