ما شبكات البيانات؟

ويمكّن فهم المنتجين العميق لبيانات المجال من وضع سياسات فعالة لحوكمة البيانات تُركّز على الوثائق والجودة والوصول إلى البيانات. وهذا بدوره يتيح إمكانية استخدام البيانات ذاتيًا على مستوى المؤسسة بأكملها. وعلى الرغم من أن هذا النهج الاتحادي يُخفّف العديد من الاختناقات التشغيلية المرتبطة بالأنظمة المركزية الأحادية، فهو لا يستبعد استخدام أنظمة التخزين التقليدية مثل بحيرات البيانات أو مستودعات البيانات. بل يعني فقط أن استخدام هذه الأنظمة قد انتقل من منصة بيانات مركزية واحدة إلى مستودعات بيانات لامركزية متعددة.

من الجدير بالذكر أن شبكة البيانات تدعم اعتماد تقنيات السحابة الأصلية وتقنيات منصات السحابة لتوسيع نطاق إدارة البيانات وتحقيق أهدافها. وغالبًا ما تتم مقارنة هذا المفهوم ببنية الخدمات المصغّرة لتسهيل فهمه ضمن السياق العام لبنية الأنظمة. ونظرًا لأن هذه البنية الموزعة مفيدة على وجه الخصوص في توسيع نطاق احتياجات البيانات عبر المؤسسات الكبيرة، يمكن الاستنتاج أن شبكة البيانات ليست بالضرورة مناسبة لجميع أنواع المؤسسات — إذ قد لا تستفيد الشركات الصغيرة منها، نظرًا لأن بياناتها المؤسسية ليست بنفس التعقيد أو الحجم الموجود في الشركات الأكبر.

يُنسَب الفضل إلى Zhamak Dehghani، مديرة التقنية في شركة استشارات تكنولوجيا المعلومات ThoughtWorks، في الترويج لمفهوم شبكة البيانات كحل للتحديات الجوهرية المرتبطة بهياكل البيانات المركزية المتجانسة، مثل صعوبة الوصول إلى البيانات وتنظيمها. وقد أسهمت جائحة كوفيد-19 في تسريع اعتماد هذا المفهوم، في محاولة لدفع التغيير الثقافي وتقليل التعقيد التنظيمي المحيط بإدارة البيانات.

تُجسّد شبكة البيانات تحولًا ثقافيًا في طريقة تفكير الشركات في بياناتها. فبدلًا من اعتبار البيانات ناتجًا ثانويًا للعمليات، تصبح البيانات نفسها منتجًا رئيسيًا، ويتحول دور منتجي البيانات إلى مالكي منتجات البيانات. تاريخيًا، كانت ملكية البيانات موزعة مركزيًا وتُدار بواسطة فرق البنية التحتية، لكن في نموذج شبكة البيانات، يتحول التركيز إلى عقلية المنتج، فتصبح الملكية لدى المنتجين باعتبارهم الخبراء في المجال. وبما أنهم الأكثر فهمًا لمستهلكي البيانات الأساسيين وكيفية استخدامهم للبيانات التشغيلية والتحليلية، يكون بمقدورهم تصميم واجهات برمجة التطبيقات (APIs) بما يخدم مصالح المستخدمين.

ورغم أن التصميم المرتكز على المجالات يجعل منتجي البيانات مسؤولين عن توثيق التعريفات الدلالية، وفهرسة البيانات الوصفية، ووضع سياسات الوصول والاستخدام، إلا أن هناك دائمًا فريقًا مركزيًا معنيًا بإدارة البيانات يتولى مسؤولية فرض المعايير والإجراءات المنظمة لاستخدام البيانات. وبالإضافة إلى ذلك، ورغم أن فِرَق النطاق تصبح مسؤولة عن مسارات البيانات (ETL pipelines) الخاصة بها ضمن بنية شبكة البيانات، فإن ذلك لا يلغي الحاجة إلى فريق هندسة بيانات مركزي. لكن دور هذا الفريق يصبح أكثر تركيزًا على تحديد أفضل حلول البنية التحتية للبيانات المناسبة لمنتجات البيانات المُخزنة.

على غرار الطريقة التي تربط بها بنية الخدمات المصغّرة بين خدمات خفيفة الوزن لتوفير الوظائف لتطبيقات موجهة للأعمال أو للمستهلكين، تستخدم شبكة البيانات المجالات الوظيفية كوسيلة لتحديد معايير التعامل مع البيانات، مما يتيح التعامل معها كمنتج يمكن للمستخدمين الوصول إليه عبر المؤسسة. بهذه الطريقة، توفّر شبكة البيانات تكاملًا مرنًا للبيانات ووظائف مترابطة، حيث يمكن للمستخدمين استهلاك البيانات من عدة نطاقات وظيفية على الفور، لأغراض مثل تحليلات الأعمال وتجربة علوم البيانات وغير ذلك الكثير.

كما أُشير سابقًا، تُعد شبكة البيانات بنية بيانات موزعة، تُنظَّم فيها البيانات بحسب نطاقها الوظيفي، بما يسهّل الوصول إليها من قِبل المستخدمين عبر مختلف أقسام المؤسسة. بحيرة البيانات هي بيئة تخزين منخفضة التكلفة، تُستخدم عادةً لاستيعاب كميات ضخمة (بيتابايت) من البيانات المُنظمة وشبه المنظمة وغير المنظمة، بهدف استخدامها في تحليلات الأعمال، والتعلم الآلي، وغيرها من التطبيقات العامة. شبكة البيانات هي نهج بنائي لإدارة البيانات، ويمكن أن تكون بحيرة البيانات جزءًا منها. ومع ذلك، غالبًا ما تُستخدم بحيرة البيانات المركزية كمكبّ بيانات، حيث تُستوعب فيها بيانات لم يُحدَّد لها غرض واضح بعد. ونتيجة لذلك، يمكن أن تتحوّل إلى مستنقع بيانات — أي بحيرة بيانات تفتقر إلى جودة البيانات وممارسات حوكمة البيانات الضرورية لتقديم رؤى قابلة للتنفيذ.

نسيج البيانات هو مفهوم بنيوي يُركّز على أتمتة تكامل البيانات، وهندسة البيانات، وحوكمتها ضمن سلسلة قيمة البيانات التي تربط بين مزوّدي البيانات ومستهلكيها. يعتمد نسيج البيانات على مفهوم "البيانات الوصفية النشطة" التي تستخدم الرسم البياني المعرفي، والدلالات، وتقنيات الذكاء الاصطناعي والتعلم الآلي لاكتشاف الأنماط ضمن أنواع متعددة من البيانات الوصفية، مثل سجلات الأنظمة أو البيانات الاجتماعية، وتوظيف هذه الرؤى لأتمتة وتنسيق سلسلة قيمة البيانات. (على سبيل المثال، تمكين مستهلك البيانات من اختيار منتج بيانات، ثم توفير هذا المنتج له تلقائيًا). نسيج البيانات لا يُعد بديلًا لشبكة البيانات، بل هو مكمّل لها. بل في الواقع، يعزّز نسيج البيانات من فعالية شبكة البيانات من خلال أتمتة الأجزاء الرئيسية من شبكة البيانات مثل تسريع إنشاء منتجات البيانات، وفرض الحوكمة المؤسسية، وتسهيل تنسيق مجموعة منتجات البيانات المتعددة.

إتاحة البيانات (Data Democratization): تُسهّل بنية شبكة البيانات الوصول الذاتي إلى البيانات عبر مصادر متعددة، مما يُوسّع نطاق استخدامها إلى ما يتجاوز الموارد التقنية، مثل علماء البيانات، ومهندسي البيانات، والمطورين. من خلال جعل البيانات أكثر قابلية للاكتشاف والوصول إليها من خلال هذا التصميم القائم على المجالات الوظيفية، يقلل هذا النهج من صوامع البيانات والاختناقات التشغيلية، ويتيح اتخاذ قرارات أسرع، كما يتيح للموارد التقنية التركيز على مهام ذات قيمة أعلى تتوافق مع مهاراتهم.

وفورات في التكاليف: تتجاوز هذه البنية الموزعة نموذج معالجة البيانات الدُفعي، وبدلًا من ذلك، تُشجّع على اعتماد منصات البيانات السحابية ومسارات البيانات المتدفقة لجمع البيانات في الوقت الفعلي. يوفّر التخزين السحابي ميزة إضافية من حيث التكلفة، من خلال تمكين فرق البيانات من تشغيل مجموعات حوسبة كبيرة عند الحاجة، مع الدفع فقط مقابل مساحة التخزين المُستخدمة فعليًا. وهذا يعني أنه إذا كنت بحاجة إلى قدرة حوسبة إضافية لتشغيل مهمة خلال ساعات بدلًا من أيام، يمكنك بسهولة تنفيذ ذلك عبر منصة بيانات سحابية من خلال شراء عُقَد حوسبة إضافية. كما يعني ذلك أيضًا تحسين الرؤية في ما يتعلق بتكاليف التخزين، مما يمكّن فرق الهندسة من تخصيص الميزانيات والموارد بشكل أكثر دقة وفعالية.

تقليل الديون التقنية: تُسبب البنية التحتية المركزية للبيانات مزيدًا من الديون التقنية، نتيجة للتعقيد وتعدد الأطراف المشاركة في صيانة النظام. ومع تراكم البيانات داخل المستودع المركزي، يبدأ النظام العام في التباطؤ. من خلال توزيع مسارات البيانات بناءً على ملكية النطاق الوظيفي، تتمكّن فرق البيانات من تلبية احتياجات مستهلكي البيانات بشكل أكثر كفاءة، وتقليل الضغوط التقنية على نظام التخزين. ويمكنها أيضًا تحسين إمكانية الوصول إلى البيانات، من خلال توفير واجهات برمجة التطبيقات (APIs) التي تتيح التفاعل المباشر معها، مما يقلّل من الحجم الإجمالي للطلبات الفردية.

قابلية التشغيل البيني: في إطار نموذج شبكة البيانات، يتفق مالكو البيانات مسبقًا على كيفية توحيد حقول البيانات غير المرتبطة بنطاق معين، مما يسهل تحقيق قابلية التشغيل البيني. وبذلك، عندما يقوم كل فريق مجال بتكوين مجموعات البيانات الخاصة به، فإنه يطبّق القواعد الموحدة ذات الصلة التي تُمكّن من ربط البيانات بين النطاقات بسهولة وسرعة. ومن أكثر الحقول التي يتم توحيدها نوع الحقل، والبيانات الوصفية، وإشارات المخطط وغيرها. ويُتيح هذا الاتساق بين النطاقات لمستهلكي البيانات التفاعل مع واجهات برمجة التطبيقات (APIs) بشكل أكثر سلاسة، وتطوير تطبيقات تخدم احتياجاتهم التجارية بمرونة ودقة أعلى.

الأمان والامتثال: تعزز هياكل شبكة البيانات ممارسات الحوكمة القوية، إذ تساعد في فرض معايير البيانات للبيانات غير المرتبطة بمجال محدد، بالإضافة إلى ضوابط الوصول إلى البيانات الحساسة. وهذا يضمن التزام المؤسسات باللوائح الحكومية، مثل قيود HIPAA، كما أن بنية النظام البيئي للبيانات تدعم هذا الامتثال من خلال تمكين عمليات تدقيق البيانات. تسجيل البيانات وتتبعها في بنية شبكة البيانات يُدمج قابلية الملاحظة (Observability) في النظام، ما يسمح للمدققين بفهم من هم المستخدمون الذين يصلون إلى بيانات محددة، وعدد مرات هذا الوصول.

على الرغم من أن بُنى شبكة البيانات الموزعة لا تزال تكتسب زخمًا واعتمادًا متزايدًا، إلا أنها تساعد الفرق على تحقيق أهدافها المرتبطة بقابلية التوسع لحالات الاستخدام الشائعة للبيانات الضخمة. ويشمل ذلك:

• لوحة المعلومات الأعمال: مع إطلاق مبادرات جديدة، غالبًا ما تحتاج الفرق إلى طرق عرض مخصصة للبيانات لفهم أداء هذه المشاريع. تدعم بُنى شبكات البيانات هذه الحاجة إلى المرونة والتخصيص من خلال إتاحة البيانات بشكل أوسع لمستهلكي البيانات.
  
  
• المساعدون الافتراضيون الآليون: تستخدم الشركات عادةً روبوت المحادثة لدعم مركز الاتصالات وفرق خدمة العملاء. ونظرًا لأن الأسئلة الشائعة غالبًا ما تتعلق بمجموعات بيانات متعددة، فإن البنية الموزعة للبيانات تُوفّر مزيدًا من الأصول لتغذية هذه الوكلاء.
  
  
• تجربة العملاء: تسمح بيانات العملاء للشركات بفهم المستخدمين بشكل أفضل، مما يُمكّنها من تقديم تجارب أكثر تخصيصًا. وقد لوحظ هذا في مجموعة متنوعة من الصناعات بدءًا من التسويق وحتى الرعاية الصحية.
  
  
• مشاريع التعلم الآلي: من خلال توحيد البيانات غير المرتبطة بمجال معين، يصبح بمقدور علماء البيانات ربط البيانات من مصادر متعددة بسهولة أكبر، مما يقلل الوقت المستغرق في معالجة البيانات. ويُساعد ذلك في تسريع عدد النماذج التي تنتقل إلى بيئات الإنتاج، ومن ثمّ يتيح تحقيق أهداف الأتمتة.