ما هي البيانات المظلمة؟

تخزن معظم الشركات اليوم كميات هائلة من البيانات المظلمة. في استطلاع بحثي عالمي أجرته Splunk وشمل أكثر من 1,300 من صناع القرار في مجال الأعمال وتقنية المعلومات، أفاد 60 بالمائة من المستجيبين أن نصف بيانات منظماتهم أو أكثر تعتبر بيانات مظلمة. كما أفاد ثلث المستجيبين بأن هذه النسبة تصل إلى 75 بالمائة أو أكثر.¹

تتراكم البيانات المظلمة لأن المنظمات تتبنى فكرة أن تخزين جميع المعلومات الممكن جمعها في بحيرات البيانات الضخمة ذو قيمة في بحيرات البيانات الضخمة. ويرجع ذلك جزئيًا إلى ظهور التخزين الرخيص، الذي جعل من السهل تبرير تخزين هذا الكم الكبير من البيانات، في حال أصبحت ذات قيمة يوما ما.

في النهاية، معظم الشركات لا تستخدم حتى جزءًا بسيطًا مما تخزنه لأن خزان التخزين لا يوثق تسميات البيانات الوصفية بشكل مناسب، أو أن بعض البيانات تكون بصيغة لا تستطيع الأدوات المدمجة قراءتها أو لا يمكن استرجاعها عبر الاستعلام.

تعد البيانات المظلمة عاملًا رئيسيًا يحد من إنتاج تحليل بيانات دقيق، لأن جودة أي تحليل للبيانات تعتمد على حجم المعلومات المتاحة لأدوات التحليل، بشكل كامل وفي الوقت المناسب.

من بين المشكلات الأخرى المتعلقة بالبيانات المظلمة أنها تزيد من المسؤوليات، وتؤدي إلى تكاليف تخزين كبيرة، وتفوت الفرص بسبب عدم إدراك الفرق للبيانات التي يحتمل أن تكون متاحة لهم.

هناك عدة أسباب تجعل بيانات المنظمة تتحول إلى بيانات مظلمة، منها:

• نقص الوعي: البيانات التي يتم الحصول عليها خلال العمليات العادية غالبا ما تظل غير مكتوبة لأن المجموعة إما غير مدركة لوجودها، أو لا تفهم قيمتها أو أهميتها.
  
  
• البيانات المعزولة في صوامع: عندما تجمع الأقسام المختلفة داخل المنظمة البيانات وتخزنها بشكل مستقل، يمكن أن يؤدي ذلك إلى تجزئة البيانات وعزلها. قد لا تكون هذه الصوامع البياناتية متاحة أو مرئية للفرق الأخرى، التي قد تجد البيانات قيّمة.
  
  
• نقص حوكمة البيانات: بدون إطار عمل قوي لحوكمة البيانات ، قد تواجه المؤسسات صعوبة في إدارة وتتبع البيانات عبر نظامها البيئي بشكل فعال. يؤدي هذا إلى عدم تنظيم البيانات وفقدانها وعدم استخدامها.
  
  
• الأنظمة القديمة: عندما تقوم المنظمات بترقية البرمجيات والأجهزة، قد يتم إهمال الأنظمة القديمة أو تصبح أقل أهمية. تصبح البيانات المخزّنة في هذه الأنظمة القديمة مظلمة إذا لم يكن بالإمكان دمجها مع أدوات التحليلات الحديثة للمنظمة.
  
  
• تكامل البيانات غير المكتملة: يمكن أن تؤدي عمليات تكامل البيانات غير المكتملة أو غير الفعالة إلى فجوات وتناقضات في البيانات. ما قد يؤدي إلى عدم إمكانية الوصول إلى بعض مجموعات البيانات أو عدم ربطها بشكل صحيح بمصادر البيانات الأخرى.
  
  
• تغيّر أولويات العمل: مع تطور أولويات العمل، قد تصبح بعض مجموعات البيانات أقل أهمية أو يتم تجاهلها. وقد يتم تجاهل البيانات التي كانت تُستخدم بفعالية سابقًا مع تحوّل أهداف المنظمة.
  
  
• محدودية الموارد ونقص المعرفة بالبيانات: قد تفضل المنظمات ذات الموارد المحدودة جمع البيانات وتخزينها على تحليلها. كذلك، فإن نقص المعرفة البيانية بين الموظفين يمكن أن يعيق اكتشاف واستخدام البيانات القيمة.
  
  
• مشاكل جودة البيانات: يمكن أن يؤدي ضعف جودة البيانات، مثل البيانات غير دقيقة أو غير مكتملة، إلى استبعاد البيانات أو تجاهلها، فالبيانات التي يُنظر إليها على أنها غير موثوقة تكون أقل احتمالًا للاستخدام، مما يجعلها مظلمة بشكل فعال.
  
  
• أغراض الامتثال التنظيمي: تفرض العديد من معايير الامتثال والمعايير الحاكمة على المنظمات اتباع لوائح صارمة فيما يتعلق بالمدة التي يجب أن تخزن فيها البيانات الحساسة. غالبًا ما ينتهي بهم الأمر بتخزينها بعد فترة طويلة من الفترة الإلزامية لأنهم يفشلون في تتبع البيانات الحساسة التي يجب إتلافها.
  
  
• البيانات الزائدة والمتقادمة والتافهة (ROT): يتم إنشاء هذه البيانات عندما يقوم الموظفون بحفظ نسخ متعددة من نفس المعلومات، أو معلومات قديمة، أو معلومات غير ذات صلة لا تساعد المنظمة على تحقيق أهدافها.

من حيث قابليتها للاكتشاف لمبادرات التحليلات الكاملة وفي الوقت المناسب، يمكن أن تكون البيانات المظلمة بيانات منظمة أو بيانات غير منظمة أو شبه منظمة.

البيانات المنظمة هي معلومات تضاف إلى حقول جدول بيانات أو قاعدة بيانات قبل تخزينها.

تعد ملفات سجل الخادم وبيانات أجهزة إنترنت الأشياء (IoT) وقواعد بيانات إدارة علاقات العملاء (CRM) وأنظمة تخطيط موارد المؤسسات (ERP) من الأمثلة على البيانات المظلمة التي يتم إنشاؤها من مصادر البيانات المنظمة.

على الرغم من أن معظم أشكال البيانات الحساسة - مثل كشوف الحسابات المصرفية الإلكترونية والسجلات الطبية وبيانات العملاء المشفرة - عادةً ما تكون في شكل منظم، إلا أنه من الصعب عرضها وتصنيفها بسبب مشكلات الأذونات.

على عكس البيانات المنظمة، تشمل البيانات غير المنظمة معلومات لا يمكن تنظيمها في قواعد البيانات أو جدول بيانات للتحليل دون التحويل أو الترميز أو التصنيف أو الهيكلة.

تشمل أمثلة البيانات المظلمة الناشئة عن مصادر بيانات غير منظمة: مراسلات البريد الإلكتروني، ملفات PDF، الوثائق النصية، منشورات وسائل التواصل الاجتماعي، تسجيلات مركز الاتصالات، سجلات المحادثات، ولقطات فيديو المراقبة.

البيانات شبه المنظمة هي بيانات غير منظمة تحتوي على بعض المعلومات في حقول بيانات محددة. على الرغم من أنها ليست سهلة الاكتشاف مثل البيانات المنظمة، إلا أنه يمكن البحث عنها أو فهرستها.

ومن الأمثلة على ذلك كود HTML والفواتير والرسوم البيانية والجداول ومستندات XML.

تتعدى تكاليف تخزين البيانات المظلمة إلى ما هو أكثر من التكلفة المالية المباشرة لتخزينها. تشمل التكاليف المباشرة وغير المباشرة ما يلي:

في بعض الأحيان يتم إنشاء بيانات مظلمة بسبب مشكلات في جودة البيانات.

على سبيل المثال، يتم إنشاء نسخة مكتوبة من تسجيل صوتي تلقائيا، لكن الذكاء الاصطناعي الذي أنشأ النسخة المكتوبة يرتكب بعض الأخطاء في النص. ومع ذلك، يحتفظ شخص ما بالنسخة النصية، معتقدًا أنه سيحلها في مرحلة ما، وهو ما لا يفعله.

عندما تحاول مجموعة تنظيف البيانات ذات الجودة الرديئة، فإنها في بعض الأحيان تغفل عن سبب المشكلة. بدون الفهم الصحيح، يصبح من المستحيل ضمان عدم تكرار مشكلة جودة البيانات في المستقبل.

ثم يصبح هذا الوضع دوريًا، لأنه بدلًا من مجرد اتباع سياسات الحذف للبيانات المظلمة غير المستخدمة على الإطلاق، تتركها المنظمات تتراكم، مما يساهم في زيادة مشكلة جودة البيانات.

لحسن الحظ، هناك ثلاث خطوات تخص إدارة جودة البيانات يمكن للمؤسسات اتخاذها للمساعدة في التخفيف من هذه المشكلة:

1. تحليل وتحديد الوضع الحالي "كما هو": لتحديد أولويات المشكلات، يجب أولًا التعرف على جميع المشكلات الحالية، ومعايير البيانات القائمة، وتأثيرها على الأعمال.
   
   
2. منع تكرار البيانات السيئة: بعد ذلك، قم بتقييم السبب الأساسي لكل مشكلة وتخصيص الموارد لحل المشكلة بطريقة مستدامة حتى لا تتكرر مرة أخرى.
   
   
3. التواصل المستمر طوال العملية:  يجب مشاركة ما يحدث، وما يقوم به الفريق، وتأثير هذا العمل، وكيفية ارتباط هذه الجهود بأهداف العمل.

على الرغم من كل التكاليف ومشاكل جودة البيانات الخاصة بالبيانات المظلمة، إلا أن هناك إيجابيات لها. وكما تقول Splunk، "قد تكون البيانات المظلمة أحد أكبر الموارد غير المستغلة لدى المؤسسات"².

من خلال اتباع نهج استباقي لإدارة البيانات المظلمة، يمكن للمنظمات تسليط الضوء على هذه البيانات. وهذا لا يقلل من المسؤوليات والتكاليف فحسب، بل يوفر أيضًا للفرق الموارد التي يحتاجونها لاكتشاف معارف جديدة من البيانات المخفية.

عند التعامل مع البيانات المظلمة وربما استخدامها لاتخاذ قرارات أفضل قائم على البيانات، هناك العديد من أفضل الممارسات التي يجب اتباعها:

غالبًا ما تنشأ البيانات المظلمة بسبب الصوامع داخل المجموعة. يقوم أحد الفريقين بإنشاء بيانات قد تكون مفيدة لفريق آخر، لكن هذا الفريق الآخر لا يدرك وجودها. ويؤدي تفكيك تلك الصوامع إلى إتاحة تلك البيانات للفريق الذي يحتاج إليها. ما يحولها من بيانات غير مستخدمة إلى بيانات ذات قيمة كبيرة.

من الضروري فهم البيانات الموجودة داخل المنظمة. يبدأ هذا الجهد بتصنيف جميع البيانات داخل مجموعة للحصول على رؤية كاملة ودقيقة. من هناك، يمكن للفرق تنظيم بياناتها بشكل أفضل بهدف تسهيل وصول الأفراد في الفرق إلى البيانات التي يحتاجون إليها واستخدامها.

يمكن أن يساعد تقديم سياسة حوكمة البيانات في تحسين هذا التحدي على المدى الطويل. يجب أن تغطي هذه السياسة كيفية مراجعة جميع البيانات الواردة وتقديم إرشادات واضحة حول ما يجب الاحتفاظ به (وتنظيمه للحفاظ على إدارة واضحة للبيانات) أو أرشفته أو إتلافه. جزء مهم من هذه السياسة هو الالتزام الصارم بإتلاف البيانات التي يجب إتلافها وتحديد الوقت المناسب لذلك. تطبيق حوكمة البيانات ومراجعة التقييمات بانتظام يمكن أن يساعد في تقليل كمية البيانات المظلمة التي لن تستخدم.

للمساعدة في اكتشاف البيانات المظلمة، يمكن من خلال للتعلم الآلي (ML) والذكاء الاصطناعي القيام بالعمل الشاق في تصنيف البيانات المظلمة من خلال إجراء تحليلات على بيانات قد تحتوي على رؤى قيمة. بالإضافة إلى ذلك، تتيح أتمتة التعلم الآلي إمكانية المساعدة في تنظيم الامتثال لخصوصية البيانات من خلال تنقيح المعلومات الحساسة تلقائيًا من البيانات المخزنة.