ما شبكات البيانات؟

ويعالج هذا التصميم القائم على المجالات العديد من الاختناقات التشغيلية الموجودة في أنظمة البيانات المركزية أحادية البنية. ومع ذلك، فإن اعتماد شبكة البيانات لا يجعل أنظمة تخزين البيانات التقليدية (مثل بحيرات البيانات أو مستودعات البيانات) غير ضرورية. بل تتحول أدوارها من العمل كمنصات بيانات مركزية واحدة إلى دعم مستودعات بيانات لا مركزية متعددة.

وقد قدمت Zhamak Dehghani، مديرة التكنولوجيا الناشئة في شركة ThoughtWorks للاستشارات التقنية، مفهوم شبكة البيانات وأسهمت في نشره. واقترحت هذه البنية الموزعة للبيانات كحل للتحديات المتأصلة في بُنى البيانات المركزية، مثل محدودية الوصول وصوامع البيانات التنظيمية.

وغالبًا ما تتم مقارنة شبكة البيانات ببنية الخدمات المصغّرة، حيث يتكون تطبيق واحد من العديد من الخدمات الصغيرة ضعيفة الترابط، لأن كلتيهما تركز على اللا مركزية والاستقلالية وقابلية التوسع.

تنشئ المؤسسات يوميًا كميات هائلة من البيانات وتجمعها. وينتج كل قسم أو وحدة أعمال مجموعات بيانات تُخزن غالبًا في مستودعات متفرقة وتتم إدارتها عادةً بواسطة فريق بيانات مركزي.

ويؤدي هذا الفصل إلى إنشاء صوامع بيانات — وهي مجموعات معزولة من البيانات التشغيلية والتحليلية تعوق مشاركة البيانات، وتقلل جودة البيانات، وتضعف صناعة القرار القائمة على البيانات. كما تحد صوامع البيانات من فعالية مبادرات البيانات الضخمة والتعلم الآلي (ML) والذكاء الاصطناعي (AI).

في الواقع، ووفقًا لتقرير IBM Data Differentiator، أفادت 82% من المؤسسات أن صوامع البيانات تتسبب في تعطيل عمليات سير العمل المهمة لديها، وتظل 68% من بيانات المؤسسة دون تحليل.

وتعالج بُنى شبكات البيانات الموزعة هذه التحديات من خلال لا مركزية ملكية البيانات وإدارتها. وبدلاً من الاعتماد على فريق بيانات مركزي ومسارات تقليدية، يتم نقل ملكية البيانات إلى فرق المجالات. وتقوم هذه الفرق بإدارة بياناتها الخاصة وتقديمها كمنتج لبقية المؤسسة عبر بنية بيانات ذاتية الخدمة.

ويركز نهج البيانات كمنتج على سهولة الوصول، والحوكمة، والفائدة العملية. ويستند هذا النهج إلى مبدأ أن البيانات، مثل أي منتج استهلاكي عالي الجودة، يجب أن تُدار وتُنظم لتلبية احتياجات البيانات المحددة لمستخدميها.

منتج البيانات هو أصل قابل لإعادة الاستخدام ومستقل بذاته يتضمن البيانات، والبيانات الوصفية، والدلالات، والقوالب. ويتم تصميمه لحالات استخدام محددة ولخدمة مجموعة واسعة من المستخدمين عبر المؤسسة، ما يساعدهم على استخراج قيمة تجارية حقيقية من البيانات التي قد تكون معزولة بخلاف ذلك.

يتم تطوير منتجات البيانات باستخدام نهج التفكير في المنتج وتطبيق مبادئ تطوير المنتج التقليدية. يتضمن هذا النهج فهم احتياجات المستخدمين من البيانات، وتحديد أولويات الميزات ذات القيمة العالية وتكرارها بناءً على التعليقات.

ويجب أن تكون منتجات البيانات الفعالة قابلة للاكتشاف، وسهلة الفهم، وقابلة للتشغيل البيني، والمشاركة، وآمنة، وقابلة لإعادة الاستخدام.

يُعد نموذج شبكة البيانات أكثر من مجرد تنفيذ تقني. فهو يتضمن تحولاً ثقافيًا في كيفية تفكير المؤسسات بشأن ملكية البيانات والوصول إليها. تقليديًا، كانت المؤسسات تعامل بيانات المجال على أنها نتاج ثانوي لعملية أو نظام ما. ومع ذلك، وبما أن شبكة البيانات تتعامل مع البيانات كمنتج، تصبح فرق المجالات مالكة لمنتجات البيانات.

ووفقًا لـ Zhamak Dehghani، توجد أربعة مبادئ أساسية لشبكة البيانات:¹

1. ملكية البيانات اللا مركزية الموجهة نحو المجال وبنيتها
2. البيانات كمنتج
3. البنية التحتية للبيانات ذاتية الخدمة كمنصة
4. الحوكمة الحاسوبية الموحدة

تقليديًا، كان فريق البنية التحتية المركزي أو فريق هندسة البيانات يحتفظ بملكية البيانات عبر المجالات المختلفة. وفي نموذج شبكة البيانات، تصبح هذه الملكية لا مركزية وتنتقل إلى فرق المجالات — وهي الأقرب إلى البيانات والأكثر دراية بكيفية استخدامها. ويكون مالكو البيانات هؤلاء مسؤولين عن إنتاج منتجات بيانات مصممة خصوصًا لهذه الاستخدامات المحددة.

كما تدير فرق المجالات مسارات الاستخراج والتحويل والتحميل (ETL) / الاستخراج والتحميل والتحويل (ELT) الخاصة بها داخل بنية شبكة البيانات. ومع ذلك، فإن هذه المسؤولية لا تلغي الحاجة إلى فريق هندسة بيانات مركزي. وبدلاً من ذلك، يتحول دورهم إلى توفير أفضل حلول بنية البيانات التحتية لتخزين منتجات البيانات وتقديمها.

يتعامل نهج البيانات كمنتج (DaaP) مع مجموعات البيانات كمنتجات قابلة للتسويق يمكن تقديمها لمستخدمين مختلفين داخل المؤسسة وخارجها. وتتم إتاحة منتجات بيانات المجالات للمستخدمين عبر المؤسسة من خلال واجهات برمجة التطبيقات (APIs) أو منصات مشاركة البيانات.

وبهذه الطريقة، يتيح نهج شبكة البيانات تكاملاً للبيانات أكثر مرونة ومنتجات بيانات قابلة للتشغيل البيني. ويمكن استهلاك البيانات القادمة من مجالات متعددة بسهولة في تحليلات البيانات، وعلوم البيانات، والتعلم الآلي، وحالات الاستخدام الأخرى.

تحتوي منصة البيانات ذاتية الخدمة على أدوات تساعد فرق المجالات —حتى مع محدودية الخبرة المتخصصة في بناء المنتجات— على إنشاء منتجات بيانات جديدة وصيانتها ومشاركتها. وقد يوفر فريق منصة البيانات خدمات بيانات مثل تخزين البيانات القابل للتوسع، وتنسيق مسارات البيانات، ودورة حياة البيانات، والمزيد غير ذلك.

كما يمكن أن تحتوي منصة الخدمة الذاتية على مستويات أو طبقات مختلفة لخدمة أنواع مختلفة من المستخدمين. وتذكر Dehghani ثلاثة أمثلة على ذلك: مستوى توفير البنية التحتية للبيانات، ومستوى تجربة مطوري منتجات البيانات، ومستوى الإشراف على شبكة البيانات.

في منظومة شبكة البيانات، تكون فرق المجالات مسؤولة عن تحديد سياسات حوكمة البيانات المتعلقة بالتوثيق والجودة والوصول. ويشمل ذلك الحفاظ على التعريفات الدلالية، وفهرسة البيانات الوصفية، وتحديد الأذونات وسياسات الاستخدام.

ويدعم هذا التوحيد الوصول الذاتي إلى البيانات عبر المؤسسة، بينما يتولى فريق حوكمة البيانات المركزي وضع المعايير المؤسسية والحفاظ عليها.

يُعد نسيج البيانات وشبكة البيانات بنيتين متكاملتين للبيانات. وفي الواقع، غالبًا ما يعزز نسيج البيانات الوظائف ويمكّن من تنفيذ شبكة البيانات.

ويستخدم نسيج البيانات أنظمة ذكية ومؤتمتة لتفكيك صوامع  البيانات، وإدارة أصول البيانات، وتحسين إدارة البيانات على نطاق واسع. ويركز على أتمتة استيعاب البيانات، وتكامل البيانات، وهندسة البيانات، والحوكمة. فعلى سبيل المثال، يمكن لنسيج البيانات أتمتة الأجزاء الرئيسية من شبكة البيانات، مثل إنشاء منتجات البيانات وإدارة دورة حياتها.

يمكن للمؤسسات التي تعتمد بُنى شبكة البيانات الاستفادة من مجموعة من الفوائد، بما في ذلك:

• إتاحة البيانات للجميع وإمكانية اكتشافها
• الكفاءة من حيث التكلفة
• المرونة في توسيع النطاق
• تقليل الديون التقنية
• تحسين قابلية التشغيل البيني
• تعزيز الأمان والامتثال

يمكن لبُنى شبكة البيانات تسهيل الوصول الذاتي إلى البيانات من خلال جعل مجموعات البيانات قابلة للاكتشاف والاستخدام. وتوسّع هذه الإتاحة نطاق الوصول إلى البيانات ليتجاوز الفرق التقنية، مثل علماء البيانات ومهندسي البيانات والمطورين. ومع وجود حوكمة مناسبة، يمكن لهذا النهج أيضًا تقليل صوامع البيانات والاختناقات التشغيلية، ما يتيح صناعة قرار أسرع وأكثر مرونة.

يمكن للبنية الموزعة لشبكة البيانات أن تشجع على اعتماد منصات البيانات السحابية والمسارات الخاصة بتدفق البيانات في الوقت الفعلي. كما يمكن لهذه الأدوات تحسين الرؤية المتعلقة بتكاليف التخزين والمعالجة، ما يتيح تخصيصًا أفضل للميزانيات والموارد لفرق الهندسة.

عندما تنفذ المؤسسات شبكة البيانات على بنية تحتية سحابية، يمكن لفرق البيانات توسيع موارد التخزين والحوسبة حسب الحاجة. فعلى سبيل المثال، إذا كانت هناك حاجة إلى قدرة حوسبية إضافية لإكمال مهمة خلال ساعات بدلاً من أيام، فيمكن للمؤسسة بسهولة توفير عُقد حوسبة إضافية مؤقتة.

ويؤدي توزيع مسؤولية مسارات البيانات حسب المجالات إلى إزالة التعقيد ومتطلبات التعاون اللازمة للحفاظ على نظام بيانات مركزي. كما يقلل هذا النهج اللا مركزي من الأعباء والديون التقنية، ويُسرّع تقديم البيانات إلى مستهلكيها.

تشجع شبكة البيانات فرق المجالات على الاتفاق على حقول وتنسيقات بيانات موحدة وغير مرتبطة بمجال محدد (مثل نوع الحقل، والبيانات الوصفية، وعلامات المخطط). وتسهل هذه القواعد المشتركة التكامل وإعادة الاستخدام من خلال جعل تطبيق القواعد ذات الصلة عبر المجالات سريعًا وسهلاً.

تساعد بُنى شبكة البيانات على فرض قواعد البيانات وعناصر التحكم في الوصول على مستوى المجالات من خلال قواعد موحدة وقابلية ملاحظة مدمجة. ويساعد هذا النهج القوي في الحوكمة على ضمان امتثال المؤسسات للوائح المتعلقة بالبيانات الحساسة، مثل قانون إخضاع التأمين الصحي لقابلية النقل والمساءلة (HIPAA).

ومن خلال ملكية المجالات ومنظومة البيانات اللا مركزية، تساعد بُنى شبكة البيانات المؤسسات على تحسين إمكانية الوصول إلى البيانات وقابليتها للاستخدام عبر مجموعة متنوعة من حالات الاستخدام، بما في ذلك: