الجوهر يكمن في البيانات: كيف تساعد مؤشرات جودة البيانات المؤسسات على التفوق.

وفقًا لبحث جديد أجراه معهد IBM Institute for Business Value، فإن إنشاء بيئة بيانات ديناميكية يمكن أن يدعم المؤسسات في تسريع وتيرة النمو. لكن كيف يمكن للمؤسسات أن تعرف إذا ما كانت بياناتها فعَّالة حقًا ومستعدة لدفع عجلة النمو؟

قد يساعد على ذلك استخدام مقاييس جودة البيانات.

مقاييس جودة البيانات هي مقاييس كمية لتقييم جودة البيانات. يمكن للمؤسسات الاستفادة من مقاييس جودة البيانات لتتبُّع جودة البيانات ومراقبتها بمرور الوقت، ما يساعد على تحديد البيانات عالية الجودة المناسبة لاتخاذ القرارات القائمة على البيانات وحالات استخدام الذكاء الاصطناعي.

تختلف المقاييس باختلاف المؤسسة وقد تعكس أبعاد جودة البيانات التقليدية مثل الدقة والتوقيت والتفرُّد، بالإضافة إلى الخصائص الخاصة بمسارات البيانات الحديثة، مثل مدة المسار. من خلال مقاييس جودة البيانات، يمكن تحويل أبعاد الجودة إلى قيم رقمية.

يمكن أن تساعد أدوات جودة البيانات المدعومة بالأتمتة والتعلم الآلي مهندسي البيانات على تقييم مقاييس جودة البيانات وتحديد مشكلات جودة البيانات في الوقت الفعلي. وهذا يمكِّن المؤسسات وفرق البيانات التابعة لها من اتخاذ الخطوات اللازمة لتحسين مصداقية وموثوقية مجموعات ومسارات البيانات الخاصة بها.

يُعَد الحفاظ على بيانات عالية الجودة وموثوق بها هدفًا يسعى إليه العديد من المؤسسات الحديثة - ولسبب وجيه.

تُسهم البيانات الجيدة في الحصول على ذكاء الأعمال الفعَّال، والكفاءة التشغيلية، وسير العمل الأمثل، والامتثال التنظيمي، ورضا العملاء، ونمو المؤسسة والتقدُّم في مؤشرات الأداء الرئيسية (KPIs). كما تُعَد جودة البيانات العالية أمرًا حيويًا لفاعلية مبادرات الذكاء الاصطناعي، حيث تتطلب نماذج الذكاء الاصطناعي تدريبًا على بيانات موثوق بها ودقيقة لتقديم نتائج مفيدة.

ولكن للحصول على مثل هذه المكافآت، يجب على المؤسسات التأكد من أن بياناتها تتمتع بجودة عالية حقًا. وهنا تؤدي مقاييس جودة البيانات دورًا رئيسيًا. يمكن أن تساعدك مقاييس جودة البيانات على التحقق من جودة بياناتك من خلال ربط أبعاد جودة البيانات بقيم رقمية، مثل الدرجات.¹

من خلال تقييمات جودة البيانات، يمكن للمؤسسات تحديد مدى سهولة استخدام بياناتها لاتخاذ قرارات الأعمال وتدريب نماذج الذكاء الاصطناعي. غالبًا ما يمكن تحسين البيانات منخفضة الجودة التي يتم تحديدها من خلال مقاييس جودة البيانات من خلال جهود معالجة البيانات.

ستة أبعاد تقليدية يتم تتبُّعها من خلال مقاييس جودة البيانات، وهي:

• دقة البيانات: تمثِّل البيانات الأحداث والقيم الواقعية بشكل صحيح.

• اكتمال البيانات: تحتوي البيانات على جميع السجلات الضرورية دون قيم مفقودة.

• اتساق البيانات: البيانات متسقة وموحَّدة على مستوى المؤسسة، ما يضمن توافق سجلات البيانات في مختلَف مجموعات البيانات.

• توقيت البيانات: قيم البيانات محدَّثة، ما يُتيح للمؤسسات تجنُّب اتخاذ قرارات بناءً على معلومات قديمة.

• تفرُّد البيانات: البيانات خالية من التكرار أو السجلات المزدوجة التي يمكن أن تشوِّه التحليل.

• صحة البيانات: تتوافق البيانات مع قواعد الأعمال، مثل الالتزام بالنطاقات المسموح بها لقيم بيانات معينة والامتثال لمعايير تنسيق البيانات المحددة.

يمكن غالبًا قياس الأبعاد الشائعة لجودة البيانات من خلال نِسَب بسيطة، مثل نسبة عدد النتائج المفضلة (عدد نقاط البيانات الدقيقة، وإدخالات البيانات الصحيحة، وما إلى ذلك) إلى إجمالي عدد النتائج.²

على سبيل المثال، الطريقة الأساسية لحساب اكتمال البيانات هي:

الاكتمال = (عدد عناصر البيانات الكاملة) / (إجمالي عدد عناصر البيانات)

بدلًا من ذلك، يمكن أيضًا استخدام مقياس عكسي يركِّز على البيانات السيئة:

الاكتمال = 1 – [(عناصر البيانات المفقودة) / (إجمالي عدد عناصر البيانات)]

تتطلب الطرق الأخرى لقياس الأبعاد حسابات أكثر تعقيدًا.

على سبيل المثال، قد تعتمد صيغ حساب توقيت البيانات على متغيّرات مثل عمر البيانات، ووقت التسليم (وقت إرسال البيانات)، ووقت الإدخال (وقت استلام البيانات)، والتقلُّب (مدة صلاحية البيانات).

بالإضافة إلى مقاييس البيانات التي تمثِّل أبعاد جودة البيانات التقليدية، هناك مقاييس رئيسية أخرى يمكن أن تساعد المؤسسات على الحفاظ على سير عمل مسارات البيانات بشكل سلس. ومن الأمثلة على ذلك:

• حداثة البيانات: تُستخدم أحيانًا بالتبادل مع "توقيت البيانات"، إلا إن حداثة البيانات تُشير تحديدًا إلى وتيرة تحديث البيانات داخل النظام. يحدث تقادم البيانات عندما توجد فواصل زمنية كبيرة بين عمليات تحديث البيانات.

• دورة حياة البيانات: يمكن أن تساعد دورة حياة البيانات، وهي عملية مراقبة نقاط الاتصال وتتبُّعها على طول رحلة البيانات، المؤسسات على تأكيد الدقة والاتساق في البيانات.

• عدد القيم الفارغة: قد يقوم مهندسو البيانات والمحللون بتتبُّع عدد القيم الفارغة أو نسبتها في أحد الأعمدة. قد يشير ازدياد عدد القيم الفارغة إلى مشكلات مثل القيم المفقودة وانحراف البيانات.

• تغييرات المخطط: قد تُشير التغييرات المتكررة في المخطط، مثل تغيير نوع بيانات الأعمدة أو إضافة أعمدة جديدة، إلى أن مصدر البيانات غير موثوق به.

• أعطال المسارات: قد تؤدي أعطال المسارات إلى مشكلات في صحة البيانات مثل تغييرات المخطط، وعمليات البيانات المفقودة، وتقادُم البيانات.

• مدة المسار: عادةً ما تستغرق المسارات المعقدة فترات زمنية متقاربة لإتمام عمليات التشغيل المختلفة. يمكن أن تؤدي التغييرات الرئيسية في المدة إلى معالجة البيانات القديمة.

تعرَّف على أبرز مقاييس جودة البيانات المناسبة لبيئتك.

تدعم مقاييس جودة البيانات العمليات الرئيسية المتعلقة بالبيانات، مثل حوكمة البيانات وقابلية ملاحظة البيانات وإدارة جودة البيانات.

تُعَد حوكمة البيانات أحد تخصُّصات إدارة البيانات التي تساعد على ضمان سلامة البيانات وأمن البيانات من خلال تحديد وتنفيذ السياسات ومعايير الجودة والإجراءات الخاصة بجمع البيانات وملكيتها وتخزينها ومعالجتها واستخدامها. تساعد مقاييس جودة البيانات مثل اتساق البيانات واكتمالها المؤسسات على تقييم التقدُّم نحو تلبية المعايير المحددة من خلال ممارسات الحوكمة.

قابلية ملاحظة البيانات هي ممارسة مراقبة البيانات وإدارتها للمساعدة على ضمان جودتها وتوافرها وموثوقيتها عبر العمليات والأنظمة والمسارات المختلفة داخل المؤسسة. تتضمن مقاييس جودة البيانات التي يتم تتبُّعها من خلال ممارسات قابلية ملاحظة البيانات حداثة البيانات والأرقام الفارغة وتغييرات المخطط.

إدارة جودة البيانات أو DQM هي مجموعة من الممارسات لتحسين جودة بيانات المؤسسة والحفاظ عليها. من الممارسات الأساسية في إدارة جودة البيانات (DQM) تنميط البيانات، والذي يتضمن مراجعة بنية البيانات ومحتواها لتقييم جودتها وتحديد خط أساس يتم قياس التحسين عليه لاحقًا. يتم تقييم جودة البيانات وفقًا لأبعاد ومقاييس جودة البيانات.

يمكن معالجة ضعف جودة البيانات، الذي يتم الكشف عنه من خلال التنميط، باستخدام ممارسة أخرى من ممارسات إدارة جودة البيانات (DQM): تنظيف البيانات. تنظيف البيانات، المعروفة أيضًا باسم تنقية البيانات، هي عملية تصحيح الأخطاء والتفاوتات في مجموعات البيانات غير المنسقة. يُعَد تنظيف البيانات خطوة أولى أساسية في عملية تحويل البيانات، والتي تهدف إلى تحويل البيانات غير المنسقة إلى صيغة قابلة للاستخدام في التحليل.

يمكن أن توفِّر حلول البرمجيات مراقبة جودة البيانات في الوقت الفعلي، بما في ذلك تتبُّع الأداء على مقاييس جودة البيانات. قد تتضمن الحلول الرائدة ميزات مثل: