ما المقصود بتحويل البيانات؟

بينما يستطيع المتخصصون تحويل البيانات يدويًا، تتطلب الكميات الكبيرة من البيانات المطلوبة لتشغيل التطبيقات المؤسسات الحديثة عادةً مستوى معينًا من الأتمتة. قد تكون الأدوات والتقنيات المستخدمة في عملية تحويل البيانات بسيطة أو معقدة.

على سبيل المثال، قد يكون تحويل البيانات بسيطًا مثل تحويل حقل تاريخ (على سبيل المثال: اليوم/الشهر/السنة) إلى حقل آخر، أو تقسيم عمود Excel واحد إلى عمودين. ولكن تحويلات البيانات المعقدة، التي تنظف البيانات وتوحدها من مصادر متعددة متباينة، وتتكون من مهام سير عمل متعددة، قد تتطلب مهارات متقدمة في علم البيانات .

وتتضمن وظائف هندسة البيانات المتقدمة هذه تطبيع البيانات الذي يحدد العلاقات بين نقاط البيانات؛ وإثراء البيانات الذي يكمل المعلومات الموجودة بمجموعات بيانات من جهات خارجية.

في ظل الاقتصاد العالمي الرقمي الأول اليوم، تساعد عمليات تحويل البيانات المؤسسات على الاستفادة من كميات كبيرة من البيانات المأخوذة من مصادر مختلفة لتحسين الخدمة وتدريب نماذج التعلم الآلي ونشر تحليلات البيانات الكبيرة.

من خلال توحيد مجموعات البيانات وإعدادها للمعالجة اللاحقة، يجعل تحويل البيانات العديد من الممارسات بالغة الأهمية لبيانات المؤسسة أمرًا ممكنًا. تشمل الأسباب الشائعة لتحويل البيانات في عالم الأعمال ما يلي:

تتبع عمليات تحويل البيانات عادة عملية منظمة لإنتاج بيانات قيمة قابلة للاستخدام من حالتها غير المنسقة. وتتضمن الخطوات الشائعة في عملية تحويل البيانات ما يلي:

تُجمع بيانات المصدر أثناء عملية الاكتشاف. وقد تتضمن هذه العملية استخراج البيانات غير المنسقة من واجهات برمجة التطبيقات أو قاعدة بيانات SQL أو الملفات الداخلية بتنسيقات متباينة. عند تحديد هذه المعلومات واستخراجها، يتأكد متخصصو البيانات من أن المعلومات التي تُجمَّع شاملة وذات صلة بالتطبيق النهائي لها. وخلال عملية الاستكشاف، يبدأ المهندسون أيضًا بفهم خصائص البيانات وهيكلها في عملية تُعرف باسم اكتشاف أنماط البيانات.

يتطلب إعداد البيانات وتنظيفها تحديد الأخطاء والتناقضات وأوجه عدم الدقة في البيانات غير المنسقة وإصلاحها. وتضمن هذه الخطوة جودة البيانات وموثوقيتها من خلال إزالة التكرارات والقيم الخارجية أو معالجة القيم المفقودة.

يتضمن تنظيم البيانات إنشاء مخطط أو عملية توجيهية لتوجيه عملية التحويل. وخلال هذه العملية، يحدد مهندسو البيانات مدى توافق عناصر النظام المصدر مع عناصر محددة في الصيغة المستهدفة.

تُنْشِئ المؤسسة خلال هذه الخطوة التعليمات البرمجية التي ستقوم بتحويل البيانات، سواء كان ذلك باستخدام أداة خارجية أو عن طريق التوليد الداخلي للتعليمات البرمجية.

يحدث التحويل الفعلي خلال هذه المرحلة حيث تطَبَّق التعليمات البرمجية على البيانات غير المنسقة. تُحمَّل البيانات المحوَّلة في نظامها المستهدف لإجراء المزيد من التحليل أو المعالجة. ثم يتم التحقق من صحة البيانات المحوَّلة ونموذج البيانات لضمان الاتساق والصحة.

أثناء عملية المراجعة، يراجع محللو البيانات أو المهندسون أو المستخدمون النهائيون بيانات المخرجات، للتأكد من أنها تلبي المتطلبات.

عملية الاستخراج والتحويل والتحميل (ETL) وعملية الاستخراج والتحميل والتحويل (ELT) هما عمليتان شائعتا الاستخدام لتحويل البيانات، ويقومان بنشر تقنيات مختلفة قليلاً لمسارات البيانات. ولكل منهما مزايا وعيوب اعتمادًا على حجم عملية التحويل وتعقيدها.

في عملية الاستخراج والتحويل والتحميل (ETL)، تُستخرج مجموعة فرعية محددة سلفًا من البيانات المنظمة من مصدرها، حيث تحوَّل في منطقة تجميع أو خادم معالجة ثانوي قبل تحميلها في النظام المستهدف. وتعد عملية الاستخراج والتحويل والتحميل (ETL) أكثر ملاءمة للتخزين المحلي ومجموعات البيانات الأصغر حجمًا. ومع ذلك، قد تُفضَّل عملية الاستخراج والتحويل والتحميل (ETL) في سيناريوهات ذات احتياجات محددة لجودة البيانات واتساقها، حيث يمكن تقديم خطوات أكثر صرامة لتنظيف البيانات والتحقق من صحتها. وقد تكون عملية الاستخراج والتحويل والتحميل (ETL) ضرورية أيضًا لحماية البيانات الحساسة، مثل المعلومات المحمية بموجب قانون نقل التأمين الصحي والمساءلة (HIPAA) أثناء الترحيل.

في عملية ELT، تُستَخرَج المعلومات من مصادر البيانات وتُحمَّل في النظام الهدف القائم على السحابة، حيث يتم تحويلها فيه. يسمح هذا النهج عادة، لأنه يستفيد من قوة الحوسبة السحابية، بمعالجة أسرع للبيانات وإدارتها بأسلوب أكثر ذكاءً. ويستخدم أيضًا هذا النهج مع البيانات غير المنظمة مثل الصور. تستفيد عملية ELT من زيادة قابلية التوسع بفضل الحوسبة القائمة على السحابة وقوة التخزين.

يستخدم علماء البيانات ومهندسوها العديد من التقنيات المتميزة خلال عملية تحويل البيانات. تعتمد الأساليب المتَّبَعة بشكل كامل على المشروع والاستخدام المقصود للبيانات، على الرغم من إمكانية استخدام عدة طرق بشكل متزامن كجزء من عملية معقدة.

• تنظيف البيانات: تعمل عملية تنظيف البيانات على تحسين جودة البيانات عن طريق تصحيح الأخطاء والتناقضات، مثل التخلص من السجلات المكررة.

• تجميع البيانات: تعمل عملية تجميع البيانات على تلخيص البيانات من خلال دمج عدة سجلات في قيمة واحدة أو مجموعة بيانات واحدة.

• تطبيع البيانات: تعمل عملية تطبيع البيانات على توحيد البيانات، ما يجعل جميع القيم في مقياس أو تنسيق مشترك، مثل القيم الرقمية من 1 إلى 10.

• ترميز البيانات: تعمل عملية ترميز البيانات على تحويل البيانات الفئوية إلى صيغة رقمية، ما يسهل تحليلها. على سبيل المثال، يخصص ترميز البيانات رقمًا فريدًا لكل فئة من فئات البيانات.

• إثراء البيانات: تعمل عملية إثراء البيانات على تحسين البيانات عن طريق إضافة معلومات ذات صلة من مصادر خارجية، مثل البيانات الديموغرافية للجهات الخارجية أو البيانات الوصفية ذات الصلة.

• إسناد البيانات: تعمل عملية إسناد البيانات على استبدال قيم معقولة ببيانات مفقودة. على سبيل المثال، تستبدل القيمة الوسيطة أو المتوسطة بالقيم المفقودة.

• تقسيم البيانات: تقوم هذه العملية بتقسيم البيانات إلى مجموعات فرعية لأغراض مختلفة. على سبيل المثال، يقسم المهندسون مجموعة بيانات لاستخدام إحداها للتدريب والأخرى للاختبار في التعلم الآلي.

• تجزئة البيانات: في عملية تجزئة البيانات، تحوَّل البيانات إلى مجموعات أو فترات منفصلة في عملية تُعرف أحيانًا بـالتصنيف. على سبيل المثال، تستخدم التجزئة في مجال الرعاية الصحية لترجمة بيانات مثل عمر المريض إلى فئات مثل "رضيع" أو "بالغ".

• تعميم البيانات: تعمل عملية تعميم البيانات على تجريد مجموعات البيانات الكبيرة إلى نموذج أعلى في المستوى أو أكثر تلخيصًا، ما يقلل من التفاصيل ويجعل فهم البيانات أسهل.

• تصور البيانات: تساعد عملية تصور البيانات على تقديم البيانات في شكل بياني، كاشفةً عن أنماط أو رؤى قد لا تكون واضحة على الفور.

في حين أنه من الممكن إجراء تحويل البيانات بواسطة مهندسين داخليين فقط، إلا أن العديد من الخدمات الخارجية تساعد في تسهيل عملية التحويل والترحيل. ومن بين أكثر هذه الخدمات شيوعًا ما يلي:

• أدوات عملية الاستخراج والتحويل والتحميل (ETL) وعملية الاستخراج والتحميل والتحويل (ELT): تسهل أدوات مثل Apache NiFi وInformatica التوصيل والتشغيل في عملية الاستخراج والتحويل والتحميل (ETL) أو عملية الاستخراج والتحميل والتحويل (ELT).

• منصات تكامل البيانات: تدعم مجموعة من الأدوات مثل IBM Cloud Pak® for Data تكامل البيانات ومعالجتها في الوقت الفعلي.

• أدوات data preparation: صُمِمَت هذه الأدوات خصيصًا لتنظيف البيانات وتحويلها قبل تحويل البيانات أو ترحيلها.

• لغات البرمجة: توفر لغات البرمجة مثل Python وR، المزوَّدة بمكتبات مثل مكتبة pandas مفتوحة المصدر، قدرات قوية لتحويل البيانات.

يُعد تحويل البيانات خطوة حاسمة في معالجة البيانات. فهو يعمل على تحسين قدرة المؤسسة على التحليل وإعداد التقارير واتخاذ القرارات والتخزين. تشمل الميزات الرئيسية ما يلي: