ما المقصود بدمج البيانات؟

غالبًا ما يُشار إلى البيانات ببساطة بـ "بيانات"—وهي تجميع للمعلومات، كما لو أن كل وحدة بيانات متطابقة في الهيكل والغرض. لكن الواقع مختلف تمامًا. بالنسبة لمعظم المؤسسات، لا تشبه البيانات وجود عربة تسوق مليئة بالتفاح. بدلًا من ذلك، عادة ما تكون تلك العربة ممتلئة ولكن مع جزء كبير أو معظم بياناتها بتنسيقات مختلفة (تفاح، موز، برتقال، إلخ).

نظرًا لأن المؤسسة المتوسطة التي تعتمد على البيانات تستند إلى أنواع عديدة من البيانات من مصادر بيانات متنوعة، فإن الشركات ذات التفكير المستقبلي تستخدم الآن أدوات تجميع البيانات للتعامل بكفاءة أكبر مع مستودعات البيانات المليئة بالمعلومات.

بالرغم من أنها تبدأ رحلتها كبيانات غير منسقة، يمكن للشركات تطبيق تحليلات البيانات على هذه المعلومات واستخلاص رؤى ذكاء الأعمال. في هذه المرحلة، يعود الأمر إلى المؤسسة لتنفيذ تحليل البيانات هذا بشكل فعال في قرارات أعمالها، ولكن على الأقل سيكون لدى الشركة وصول بيانات أكثر اكتمالاً وفورية يمكن أن يفيد عملية صنع القرار لديها بشكل أفضل.

يوفر دمج البيانات (يشار إليه غالبًا باسم تكامل البيانات) العديد من المزايا الرئيسية:

يتزايد عدد الطرق المستخدمة لدعم مشاريع دمج البيانات.

إن أهم تقنية لدمج البيانات تُعرف باسم ETL (استخراج وتحويل وتحميل). تبدأ عمليات ETL باستخراج أدوات ETL للمعلومات من مصادر البيانات. ثم يتم تحويل هذه البيانات إلى تنسيق معلوماتي قياسي. وأخيرًا، يتم تحميل البيانات إلى الوجهة المحددة.

يُطلق على النظير الناشئ لاستراتيجية ETL اسم ELT (استخراج، تحميل، وتحويل). تُعد إعادة ترتيب خطوات ELT أمرًا بالغ الأهمية. في ELT، تُستخرج البيانات، ثم يتم تحميلها إلى نوع من منطقة التجهيز المؤقت. تبقى البيانات هنا حيث تدرسها كيانات مختلفة داخل المؤسسة من زوايا متنوعة، وتقوم بتحويل البيانات في نهاية المطاف.

الاحتفاظ بجميع البيانات في مستودع مركزي واحد هو نهج عملي. يمكن تحقيق درجة أعلى من أمن البيانات باستخدام مستودع البيانات، الذي يقبل مجموعات البيانات من أنظمة مصادر مختلفة. يمكن بعد ذلك استخدام أدوات ETL لأتمتة البيانات ودمجها في المستودع.

يُستخدم تخزين البيانات جزئيًا لتنظيف البيانات أو معالجتها. من ناحية أخرى، فإن بحيرة البيانات هي ببساطة مستودع بيانات لا يقدم أيًا من قدرات معالجة البيانات. بحيرة البيانات هي أساسًا مكان لحفظ البيانات بينما لا تزال في حالتها الأولية. عادةً، هذا هو المكان الذي قد تودع فيه الشركة بيانات غامضة.

الأمر كله يتعلق بالحجم. تم تصميم مستودع البيانات لقبول وتخزين كافة البيانات. متجر البيانات هو ببساطة مستودع بيانات أصغر حجمًا مع تركيز أضيق بكثير. لذا، بينما تستخدم شركة ما مستودع البيانات، قد يكون لدى قسم أو مجموعة داخل تلك الشركة متجر بيانات خاص باحتياجاتها الخاصة.

في عصر الأتمتة، تبدو البرمجة اليدوية قديمة الطراز. ومع ذلك، هناك العديد من الظروف التي تستدعي مهمة بسيطة لدمج البيانات. يتم إنجاز مثل هذا العمل من خلال البرمجة اليدوية، كما يقوم بها مهندس بيانات. تساعد التعليمات البرمجية التي يكتبها المهندس على «تجميع» البيانات في موقع واحد.

هناك حل آخر لدمج البيانات يجب على الشركات أخذه بعين الاعتبار، وهو المحاكاة الافتراضية للبيانات، حيث تبقى البيانات في صوامعها الحالية ويتم عرضها من خلال طبقة المحاكاة الافتراضية تتم إضافتها إلى كل مصدر بيانات. لسوء الحظ، هناك قيود تتعلق بهذه الطريقة، بما في ذلك انخفاض قابلية التوسع.

النمو الهائل للبيانات الكبيرة لا يزال يثير اهتمام عالم التكنولوجيا، ومن المتوقع أن يستمر ذلك لبعض الوقت. تتوقع Acumen Research and Consulting أن سوق البيانات الكبيرة يستمر في التوسع (يؤدي الرابط إلى موقع خارج ibm.com) بمعدل يبلغ حوالي 12.7% سنويًا. وفقًا لتوقعاتها، من المتوقع أن يشهد هذا السوق ارتفاعًا هائلاً من قيمة قدرها 163.5 مليار دولار أمريكي في عام 2021 إلى قيمة سوقية متوقعة قدرها 473.6 مليار دولار أمريكي بحلول عام 2030. ومع توسع سوق البيانات الكبيرة، تزداد الحاجة إلى المزيد من دمج البيانات.

إن أتمتة العمليات اليدوية المتعلقة بدمج البيانات هي مجال آخر شهد تطورًا مكثفًا في السنوات الأخيرة. يحدث هذا في وقت يشهد ندرة نسبية في مواهب علم البيانات. تم تقدير أن أكثر من 60% من ساعات علم البيانات (الرابط موجود خارج ibm) يتم إنفاقها في تنظيف البيانات ومعالجتها أثناء عمليات الدمج. يمكن وينبغي أتمتة هذه العمليات (وسيتم ذلك بكميات متزايدة).

يظلّ أمن البيانات أيضًا في صميم الاهتمامات، مما يعكس التهديد المستمر والمتزايد للهجمات الإلكترونية أو هجمات برامج الفدية. واستجابةً لذلك، تختار المؤسسات خيارات مثل مسارات البيانات التي توفر قدرًا أكبر من الأمان أثناء حركة البيانات وتخزينها وتحليلها.

بالشكل نفسه، يشير تطور حديث آخر إلى الاهتمام المتزايد بحماية خصوصية المستهلكين، خاصة بعد سلسلة من الهجمات الإلكترونية البارزة التي أدت إلى الانتشار الواسع لبيانات المستهلكين. تُستخدم ما يُسمى بغرف البيانات النظيفة بشكل متزايد الآن كطريقة صديقة للخصوصية للتفاعل مع المستهلكين. في غرف البيانات النظيفة، يتم تنظيم التفاعلات بطريقة تحد من كمية معلومات المستهلك التي يتم جمعها عادةً بواسطة المؤسسة.