ما المقصود بإثراء البيانات؟

إثراء البيانات تقنية تهدف إلى تحسين جودة البيانات وقابليتها للاستخدام من خلال استكمال مجموعات البيانات بمعلومات إضافية من مصادر داخلية أو خارجية.

تجمع المؤسسات اليوم بيانات أكثر من أي وقت مضى، لكن هذه البيانات غالبًا ما تفتقر إلى السياق أو الدلالة التي تمنحها قيمة واضحة. يساعد إثراء البيانات على سد هذه الفجوات وتحسين فهم نقاط البيانات الحالية، سواء كانت في صورة بيانات غير مُنسَّقة أو ضمن مجموعة بيانات منظمة. ومن خلال إضافة هذا السياق إلى البيانات، يمكن تحويل مجموعة البيانات من معلومات يصعب تفسيرها إلى مصدر واضح للرؤى، بما يمكّن المؤسسات من اتخاذ قرارات أكثر استنارة.

وغالبًا ما تكون ممارسات إثراء البيانات جزءًا من برامج إدارة البيانات وإدارة البيانات الرئيسية داخل المؤسسة. وتتبع المؤسسات أنواعًا متعددة من إثراء البيانات بحسب احتياجات أعمالها ومصادر بياناتها، مثل الإثراء الديموغرافي، والإثراء ببيانات الشركات، والإثراء الجغرافي. ورغم أن فرق البيانات يمكنها تنفيذ إثراء البيانات يدويًا، فإن الذكاء الاصطناعي (AI) والأتمتة يساعدان على تحسين هذه العمليات ورفع كفاءتها.

تظهر حالات الاستخدام الشائعة لإثراء البيانات في استراتيجيات التسويق، لكن عملياته يمكن أن تؤدي دورًا مهمًا أيضًا في مجالات مثل الأمن السيبراني والرعاية الصحية والتخطيط الحضري. كما تزداد أهمية إثراء البيانات في تحسين أداء نماذج التعلم الآلي، إذ يوفّر سياقًا وبيانات أكثر اكتمالًا تساعد على الوصول إلى تنبؤات أدق.

تخيّل لوحة لم تكتمل بعد؛ يغطي نصفها السفلي ضربات فرشاة زرقاء تمثل محيطًا، بينما تظهر في وسطها بقع ذهبية لافتة لا يتضح معناها بعد. لكن عند اكتمال اللوحة، يتضح أن تلك البقع ليست سوى انعكاسات للضوء؛ فاللوحة المكتملة تُظهر شمسًا تغرب فوق سطح الماء.

ومع أن اللوحة غير المكتملة قد تكون عملًا فنيًا بحد ذاتها، فإنها تحمل أيضًا إمكانية أن تصبح شيئًا أكثر اكتمالًا ووضوحًا. وينطبق الأمر نفسه على مجموعات البيانات عندما يجري تحسينها من خلال إثراء البيانات.

فعلى سبيل المثال، عندما يُستكمل جدول بيانات العملاء، الذي لا يحتوي إلا على الأسماء وأرقام الهواتف، بعناوين البريد الإلكتروني، يصبح أداة أكثر فاعلية للتواصل. وعندما تُضاف الإحداثيات الجغرافية إلى مجموعة بيانات تضم عناوين الشوارع، يمكن أن توفر رؤى أعمق حول استخدامات الأراضي في أحد الأحياء.

ومع استمرار الشركات في إنشاء كميات هائلة من البيانات غير المنظمة وغير المنظمة وجمعها، أصبحت الحاجة إلى إثراء البيانات أكثر إلحاحًا. فكلما زاد حجم البيانات غير المُنسَّقة وغير المنظمة، زادت الفجوات وقلّ السياق داخل مجموعات البيانات. لكن من خلال إثراء البيانات، تستطيع المؤسسات ربط هذه البيانات بنقاط بيانات أخرى تمنحها دلالة أوضح، بما يساعدها على تحقيق عائد أكبر من الاستثمار في أصول بياناتها.

يوفر إثراء البيانات مجموعة متنوعة من الفوائد، منها:

• دقة أعلى للبيانات: يمكن لإثراء البيانات سد الفجوات في البيانات الحالية، مثل العناوين البريدية غير المكتملة أو المسميات الوظيفية المفقودة.

• ثقة أكبر: يساعد الاطلاع على أبعاد مختلفة للبيانات، مثل مجموعة بيانات لأسماء الشركات مدعّمة برموز تصنيف الصناعات، المستخدمين على الثقة بأنهم يصلون إلى نقاط البيانات المناسبة لأغراضهم.

• أداء أفضل للذكاء الاصطناعي: يعمل الذكاء الاصطناعي، بما في ذلك نماذج التعلم الآلي والذكاء الاصطناعي التوليدي، بكفاءة أعلى عندما يعتمد على بيانات كاملة وعالية الجودة.

• رؤى تدعم صناعة القرار: يمكن لمجموعات البيانات الشاملة الناتجة عن إثراء البيانات أن تساعد الشركات على اكتشاف أنماط وفرص جديدة مرتبطة بطلب السوق والتسعير وغير ذلك. فعلى سبيل المثال، يمكن لرؤى العملاء أن توجّه جهود التسويق المستهدف بناءً على تفضيلات العملاء.

• دعم الامتثال: يمكن لإثراء البيانات، ولا سيما إثراء البيانات الوصفية، أن يسهّل تتبع المعلومات الحساسة الخاضعة للوائح وقوانين خصوصية البيانات، مثل اللائحة العامة لحماية البيانات (GDPR).

غالبًا ما يُستخدم مصطلحا "إثراء البيانات" و"تحسين البيانات" بالتبادل، لكنهما يشيران إلى عمليتين مختلفتين. ورغم أن كليهما يمكن أن يحسّن جودة البيانات، فإن تحسين البيانات يركّز بدرجة أكبر على معالجة البيانات المتاحة بالفعل، بينما يتمحور إثراء البيانات حول إضافة نقاط بيانات جديدة إلى مجموعة البيانات.

في تحسين البيانات، تُعد تنقية البيانات وتحديثها من الوظائف الأساسية. وقد يلزم إضافة بعض البيانات الجديدة لمعالجة القيم الناقصة في أحد الأعمدة أو تحديث معلومات قديمة، لكن حجم البيانات الجديدة المُضافة هنا لا يرقى إلى مستوى ما يحدث في إثراء البيانات.

أما في إثراء البيانات، فغالبًا ما تُضاف حقول جديدة إلى مجموعات البيانات الحالية. وكما هو الحال في تحسين البيانات، تُعد تنقية البيانات جزءًا من العملية، لكنها تُجرى هنا تمهيدًا لإضافة معلومات جديدة. (راجع "الخطوات الرئيسية لإثراء البيانات" أدناه).

تعتمد المؤسسات عادةً نوعًا واحدًا أو أكثر من أنواع إثراء البيانات التالية لإضافة معلومات إلى مجموعات بياناتها الحالية:

• إثراء البيانات السلوكية: إضافة بيانات عن سلوك العملاء وتفاعلهم مع المنتجات والخدمات وقنوات التواصل المختلفة، بما في ذلك تطبيقات الأجهزة المحمولة وحسابات وسائل التواصل الاجتماعي.

• إثراء بيانات الاتصال: إضافة معلومات تُثري قوائم جهات الاتصال، مثل أرقام الهواتف وعناوين البريد الإلكتروني والانتماءات المهنية والملفات الشخصية على وسائل التواصل الاجتماعي.

• الإثراء الديموغرافي: إضافة خصائص مثل العمر والنوع والأصل العرقي والحالة الاجتماعية والدخل. ويُشار إليه أيضًا باسم الإثراء الاجتماعي الديموغرافي.

• إثراء بيانات الشركات: إضافة تفاصيل عن الشركة، مثل القطاع والحجم والإيرادات والموقع.

• الإثراء الجغرافي: إضافة معلومات عن موقع الكيان، مثل عنوان الشارع والرمز البريدي والدولة والإحداثيات الجغرافية.

• الإثراء بالسمات النفسية والسلوكية: إضافة بيانات عن نمط حياة الشخص واهتماماته واتجاهاته ومعتقداته.

• الإثراء التقني: إضافة بيانات عن أنواع التقنيات التي يستخدمها فرد أو مؤسسة، بما في ذلك التطبيقات والأدوات والأجهزة والبرمجيات والبنية التحتية لتكنولوجيا المعلومات.

قد تختلف عملية إثراء البيانات من مؤسسة إلى أخرى، لكنها تمر عادةً بعدد من الخطوات المشتركة:

يمكن للمؤسسات إثراء البيانات باستخدام بياناتها الداخلية، بما في ذلك بيانات الطرف الأول، أي البيانات التي تُجمع مباشرةً من العملاء، إلى جانب البيانات الواردة من مصادر تابعة لجهات خارجية.

وقد تواجه المؤسسات التي تسعى إلى استخدام البيانات من مصادر داخلية عقبة شائعة، وهي صوامع البيانات. ولحسن الحظ، يمكن تفكيك هذه الصوامع من خلال تكامل البيانات، وهي عملية تجمع البيانات من مصادر متباينة وتحولها إلى تنسيقات موحدة وقابلة للاستخدام. فعلى سبيل المثال، يمكن للمؤسسة إثراء مجموعة بيانات العملاء من خلال دمج بيانات من أنظمة إدارة علاقات العملاء (CRM) وقواعد بيانات التسويق.

يمكن للشركات أيضًا الاعتماد على مصادر بيانات خارجية، مثل مصادر البيانات العامة المجانية ومزودي البيانات من الجهات الخارجية. وتشمل مصادر البيانات العامة مجموعات البيانات الحكومية، مثل بيانات التعداد السكاني وتقارير التوظيف، بينما يجمع مزودو البيانات من الجهات الخارجية أنواعًا متعددة من البيانات ويبيعونها، بما في ذلك بيانات الاتصال والبيانات الديموغرافية وبيانات خصائص الشركات.عند اختيار بيانات من جهات خارجية، ينبغي للشركات التعامل فقط مع مصادر ومزوّدي بيانات موثوقين، حتى تضمن أن البيانات دقيقة وحديثة وتلبي معايير الجودة لديها.

ينبغي إدارة أي بيانات يتم الحصول عليها وتخزينها ضمن عملية إثراء البيانات وفق القواعد التي تنظم خصوصية البيانات وأمنها، مثل اللائحة العامة لحماية البيانات (GDPR) وقانون قابلية نقل التأمين الصحي والمساءلة (HIPAA).

ومع تنامي صناعة القرار القائمة على البيانات وازدياد احتياجات البيانات المرتبطة بالذكاء الاصطناعي، ارتفع الطلب على البيانات عالية الجودة، وبالتالي على أدوات إثراء البيانات. من المتوقع أن يصل حجم السوق العالمية لحلول إثراء البيانات إلى نحو 4.6 مليار دولار أمريكي بحلول عام 2030، مقارنةً بنحو 2.4 مليار دولار أمريكي في عام 2023.

وفي حين يسهم تبنّي الذكاء الاصطناعي في زيادة استخدام حلول إثراء البيانات، فإنه يشكّل أيضًا أساسًا لبعض أكثر أدوات إثراء البيانات تقدمًا. تشمل الأنواع الشائعة من أدوات وحلول إثراء البيانات ما يلي:

• حلول تكامل البيانات: تدعم حلول تكامل البيانات عمليات الاستخراج والتحويل والتحميل (ETL)، بما يشمل إثراء البيانات وتنقية البيانات وغيرها من تعديلات البيانات. (تجدر الإشارة إلى أن حلول تكامل البيانات يمكنها أيضًا جعل البيانات قابلة للاستخدام بعد إثرائها، وذلك بتحميل البيانات المُثرَاة إلى المستودعات وغيرها من الوجهات لتحليلها).

• مستودعات بحيرات البيانات المفتوحة: يمكن لحلول مستودعات بحيرات البيانات الرائدة أتمتة استيعاب البيانات غير المنظمة وإثرائها، وتوحيدها مع البيانات المنظمة.

• برمجيات حوكمة البيانات: تستخدم برمجيات حوكمة البيانات المتقدمة النماذج اللغوية الكبيرة (LLMs) لإثراء البيانات الوصفية، من خلال تعزيز البيانات الوصفية التقنية بسياق إضافي أو تسميات أو أوصاف.

• حلول مهام سير عمل الإثراء القائمة على الوكلاء: يمكن لوكلاء الذكاء الاصطناعي تبسيط عمليات إثراء البيانات بدرجة أكبر. في أحد نماذج إثراء البيانات القائم على الوكلاء، ينشئ المستخدم جدول بيانات، فيؤدي ذلك إلى استدعاء واجهة برمجة التطبيقات (API) للعثور على بيانات ذات صلة من الويب في الوقت الفعلي واستيعابها. ثم يعالج نموذج لغوي كبير (LLM) المعلومات الجديدة، وتُضاف بعد ذلك إلى جدول البيانات.¹

لإثراء البيانات تطبيقات في مجموعة واسعة من المجالات والصناعات.

تُعد فرق التسويق والمبيعات من أكثر الجهات استخدامًا لإثراء البيانات، ولا سيما إثراء البيانات السلوكية، والإثراء الديموغرافي، وإثراء بيانات الشركات. وتستفيد هذه الفرق من البيانات المُثرَاة في بناء ملفات تعريف العملاء، ودعم استراتيجيات التقسيم، وإنشاء حملات تسويقية مصممة خصيصًا، وتقديم تجارب مخصصة للعملاء.

تُعد البيانات المكانية عالية الجودة عنصرًا بالغ الأهمية في التخطيط والتطوير الحضري. ويستخلص أحد أشكال الإثراء الجغرافي، المعروف باسم الترميز الجغرافي، إحداثيات خطوط العرض والطول من عناوين الشوارع، مما يساعد المخططين الحضريين على تحديد المواقع بدقة أكبر.

أصبحت الأجهزة القابلة للارتداء وتطبيقات الصحة واللياقة وغيرها من تقنيات مراقبة الصحة مصادر جديدة للمعلومات التي تُستخدم في إثراء مجموعات بيانات المرضى والبحوث. ويمكن أن يساعد هذا النوع من الإثراء المتخصصين الطبيين على تحسين رعاية المرضى، كما يعين الباحثين على اكتشاف أنماط ورؤى مهمة.

يمكن إثراء بيانات الأحداث الأمنية بمعلومات مثل المواقع الفعلية، ضمن الإثراء الجغرافي، والأجهزة المستخدمة، ضمن الإثراء التقني، بما يحسّن تقييم مخاطر الأمن السيبراني وثغراته.