ما المقصود بالاستخراج والتحميل والتحويل (ELT)؟

تُعرف عملية ELT عادةً بوصفها نظيرًا لعملية تكامل البيانات القائمة على الاستخراج والتحويل والتحميل (ETL). لكن مسارات ELT، بخلاف مسارات ETL، تضع تحويل البيانات في نهاية عملية تكامل البيانات بدلًا من منتصفها. يتيح هذا النهج نقل البيانات بسرعة أكبر من المصدر إلى الوجهة المستهدفة، ثم تحويلها داخل النظام المستهدف.

تعتمد المؤسسات على ELT للتعامل مع بنية البيانات المتنامية داخل البيئات السحابية. تتيح ELT للمؤسسات الاستفادة من القدرة الحاسوبية للمنصات السحابية ومرونتها لتحويل بياناتها حسب الحاجة وعلى نطاق واسع. وتتيح هذه المرونة للمؤسسات استيعاب البيانات وتحويلها، على اختلاف مصادرها وتنسيقاتها، مع الاحتفاظ بإمكانية الوصول إلى البيانات غير المنسقة لحالات الاستخدام المستقبلية. كما تتيح لها بناء مسارات بتكاليف أولية منخفضة.

ورغم أن ELT بدأت باعتبارها عملية تعتمد على معالجة البيانات على دفعات، فإنها تستطيع دعم تكامل البيانات المتدفقة باستخدام منصات تدفق البيانات في الوقت الفعلي، مثل Apache Kafka. وتشمل أدوات ELT الرئيسية الأخرى حلول تكامل البيانات وتحويلها التي تتكامل مع مستودعات البيانات الرئيسية.

تتيح ELT للمؤسسات تخزين كميات هائلة من البيانات بسرعة والاستفادة من مزايا اعتماد بنية سحابية أصلية للبيانات.

أصبحت ELT من العمليات الأساسية لتكامل البيانات منذ نحو عام 2010، وذلك لسببين رئيسيين على الأقل:

• الزيادة الهائلة في أحجام البيانات
• توافر الحوسبة السحابية

حين سعت المؤسسات إلى إدارة بنى بيانات ضخمة بحجم غير مسبوق، اتجهت إلى البيئات السحابية. يمكن للبيئات السحابية توفير تخزين أقل تكلفة وأكثر قابلية للتوسع مقارنةً بالخوادم المحلية. وبعبارة أخرى، غالبًا ما تُعد هذه البيئات خيارًا مثاليًا لتخزين مجموعات البيانات المتنامية والمتنوعة.

وبالقدر نفسه من الأهمية، أتاحت المنصات السحابية ومستودعات البيانات المرتكزة على السحابة تحويل البيانات على نطاق واسع. ويعني هذا النموذج أنه لم يعد من الضروري تحويل البيانات في منتصف مسار البيانات، كما هو الحال في مسارات ETL التقليدية. بل يمكن تحويل البيانات بكفاءة داخل النظام المستهدف، وهو النهج الذي تتبعه ELT.

غالبًا ما يفضّل مهندسو البيانات ELT لأنها أقدر على التعامل مع كميات هائلة من البيانات، ويمكنها استيعاب بيانات أكثر تنوعًا، بما فيها البيانات شبه المنظمة وغير المنظمة، مقارنةً بعملية ETL التقليدية. وللحفاظ على توافر البيانات غير المنسقة مزايا أخرى أيضًا؛ إذ تستطيع الفرق المختلفة وعلماء البيانات، قبل تنفيذ عمليات التحويل، تخصيص منطق التحويل لتلبية احتياجاتهم المحددة، مع الاحتفاظ بالبيانات غير المنسقة للاحتياجات المستقبلية التي تتراوح بين التحليلات والتعلم الآلي.

قال Jamil Spain، مستشار تقني أول في IBM: "يتوقف الأمر على حالة الاستخدام لديك وما تحاول تحقيقه. قد يكون من المنطقي تحميل البيانات أولًا، ثم العمل ضمن آلية تحديد الوصول والتعرّف على البيانات المتاحة لديك. وبعد ذلك، يمكنك العمل على تحويلها إلى التنسيق الذي تريده."

كانت ELT في الأصل عملية تعتمد على معالجة البيانات على دفعات. لكن التطورات في هندسة البيانات تتيح الآن نشر ELT مع منصات تدفق الأحداث، مثل Apache Kafka، لتكامل البيانات المتدفقة ودعم التحليلات الفورية.

وأوضح Spain: "عندما تصل البيانات غير المنسقة، تُدرجها ضمن موضوعات محددة في Kafka، فتكون أشبه بتدفق يتطور باستمرار." "بعد ذلك، يمكنني كتابة منطق برمجي لتلخيص البيانات أو إجراء عمليات حسابية… ويمكنني تحليل البيانات مع تزايد حجمها."

ورغم أن Kafka حل مفتوح المصدر، فإن حلول فئة المؤسسات، مثل Confluent، إحدى شركات IBM، يمكنها تعزيز تطبيقات Kafka بقدرات محسّنة لإدارة البيانات، وحوكمة آمنة، وموصلات جاهزة، ودعم العملاء.

تتكوّن ELT من ثلاث مراحل أساسية: الاستخراج والتحميل والتحويل. وتتناول الأقسام التالية كل مرحلة من هذه المراحل بالتفصيل.

خلال مرحلة استخراج البيانات، تُنسخ البيانات أو تُصدّر من مواقع مصادرها. قد تشمل البيانات أنواعًا عديدة، ويمكن أن تأتي من أي مصدر تقريبًا للبيانات المنظمة أو غير المنظمة، بما في ذلك، على سبيل المثال لا الحصر:

• خوادمSQL وNoSQL
• أنظمة إدارة علاقات العملاء (CRM)
• أنظمة تخطيط موارد المؤسسات (ERP)
• واجهات برمجة التطبيقات.
• ملفات البريد الإلكتروني والملفات النصية والمستندات
• ملفات JSON وCSV
• صفحات الويب

تُنقل البيانات المستخرجة إلى مساحة لتخزين البيانات، مثل مستودع بيانات أو بحيرة بيانات. قد تخضع البيانات خلال هذه المرحلة لقدر محدود من المعالجة، بما في ذلك بعض عمليات تنظيف البيانات، مثل معالجة القيم المفقودة.

يجري التحميل عادةً خلال ساعات العمل، عندما يحتاج مستخدمو البيانات إلى استخدامها لإجراء تحليلات أو استخلاص رؤى لا تحتمل التأخير، ولا يملكون الوقت لانتظار عمليات ETL التقليدية.

في هذه المرحلة، تُحوّل البيانات داخل النظام المستهدف باستخدام أدوات مثل SQL وData Build Tool (dbt). قد تشمل هذه المرحلة ما يلي:

• تنظيف البيانات وإزالة التكرارات منها وتصفيتها والتحقق من صحتها والمصادقة عليها.

• إجراء عمليات حسابية أو عمليات ترجمة أو تحليل للبيانات أو إعداد ملخصات لها، استنادًا إلى البيانات غير المنسقة. قد يشمل ذلك تغيير رؤوس الصفوف والأعمدة لتحقيق الاتساق، أو تحويل العملات أو وحدات القياس، أو تحرير السلاسل النصية وجمع القيم أو حساب متوسطاتها، وغير ذلك مما يلزم لتلبية احتياجات المؤسسة المحددة في مجال ذكاء الأعمال أو التحليل.

• إزالة البيانات الخاضعة للوائح الحكومية أو القطاعية، أو تشفيرها أو إخفاؤها أو حمايتها بوسائل أخرى، مثل البيانات الخاضعة للائحة العامة لحماية البيانات (GDPR) في الاتحاد الأوروبي وقانون إخضاع التأمين الصحي لقابلية النقل والمساءلة (HIPAA) في الولايات المتحدة.

قد يحدث خلط بين ELT وعملية ذات صلة تُعرف باختصار مشابه لها إلى حد كبير. لكن هناك عدة اختلافات واضحة بين الاستخراج والتحميل والتحويل (ELT) والاستخراج والتحويل والتحميل (ETL).

ويكمن الفرق الرئيسي بينهما في ترتيب العمليات. فبخلاف ELT، تنفّذ ETL عملية التحويل قبل عملية التحميل. وتشمل أبرز الاختلافات بين العمليتين ما يلي:

توفّر ELT فوائد عديدة للمستخدمين الذين يدمجون هذه العملية ضمن سير العمل الخاصة بهم.

• سرعة أكبر في نقل البيانات: تصل البيانات بسرعة أكبر لخدمة حالات الاستخدام التي لا تحتمل التأخير، من تنبيهات نفاد المخزون إلى تداول الأسهم، إذ لا تُجرى عليها تحويلات أثناء النقل تؤدي إلى إبطائه.

• مرونة أعلى للمسارات: يضمن فصل مرحلة التحويل عن مرحلة التحميل ألّا يؤدي خطأ برمجي أو أي خطأ آخر في مرحلة التحويل إلى تعطّل المسار.

• بيانات أكثر تنوعًا: تستطيع ELT استخراج البيانات وتحميلها من مصادر متنوعة وبتنسيقات مختلفة.

• إمكانية إعادة استخدام البيانات: لأن البيانات تُخزّن بصورتها غير المنسقة، تستطيع الأطراف المعنية، على اختلاف احتياجاتها، الوصول إلى البيانات نفسها وتطبيق منطق التحويل الخاص بكل منها عليها.

• قابلية أكبر للتوسع: تستفيد ELT من قدرات المستودعات المرتكزة على السحابة وسعتها لتمكين تحويل البيانات على نطاق واسع.

• فعالية من حيث التكلفة: يمكن تحقيق هذه الفعالية بخفض التكاليف الأولية والاستفادة من موارد الحوسبة والتخزين السحابية المرنة حسب الحاجة.

رغم كل هذه الفوائد، قد ينطوي تطبيق ELT على بعض التحديات.

في غياب عمليات تحويل البيانات أثناء النقل لتنظيفها وتنظيمها، قد تثير البيانات غير المنسقة التي تصل إلى الأنظمة المستهدفة مخاوف لدى المؤسسات بشأن جودة البيانات والامتثال والأمان. يمكن لبرامج حوكمة البيانات المساعدة على معالجة هذه المخاوف بفرض معايير جودة البيانات والامتثال، إلى جانب ممارسات الأمان مثل تشفير البيانات وضوابط الوصول المستندة إلى الأدوار.

ورغم أن استخدام الموارد السحابية المرنة قد يكون فعّالًا من حيث التكلفة، فإن التكاليف قد ترتفع بمرور الوقت مع تزايد أحجام البيانات. يمكن أن يتيح تحسين تكلفة السحابة، وهو ممارسة تشمل استراتيجيات وأدوات تساعد على خفض النفقات السحابية، للمؤسسات تجنّب فواتير تتجاوز توقعاتها.

نظرًا إلى أن ELT صُممت للعمل مع البنية التحتية السحابية الحديثة، فإن المؤسسات التي تستخدم بنية تحتية محلية وأنظمة قديمة تجد عادةً أن بنية المسارات التقليدية، وتحديدًا مسارات ETL، أكثر ملاءمةً لاحتياجاتها من تكامل البيانات.

يتطلب تنفيذ مهام سير العمل الخاصة بعملية ELT أدوات لتكامل البيانات وتحويلها.

غالبًا ما توفِّر حلول تكامل البيانات الرائدة المرونة اللازمة لدعم كلٍّ من مسارات ELT ومسارات ETL التقليدية. وقد تشمل الميزات الرئيسية الأخرى ما يلي:

• مجموعة واسعة من الموصِّلات لاستيعاب البيانات من مصادر بيانات متباينة.
• التكامل مع أدوات تحويل البيانات ومستودعات البيانات
• التكامل مع حلول تدفق البيانات
• خيارات دون تعليمات برمجية ومنخفضة التعليمات البرمجية، وتصميم مسارات البيانات بمساعدة الذكاء الاصطناعي، ما يُتيح لعدد أكبر من المستخدمين إنشاء مسارات البيانات بسرعة أكبر.
• قدرات مدمجة لقابلية الملاحظة والجودة وتتبُع مسار البيانات والحوكمة لتوفير مسارات بيانات أكثر موثوقية.

تتراوح أدوات تكامل البيانات التي تدعم ELT بين حلول تجارية، مثل IBM DataStage® وFivetran، وحلول مفتوحة المصدر، مثل Airbyte.

تُعد Data Build Tool (dbt) الأداة المعتمدة معيارًا لتحويل البيانات في هذا المجال. وتشمل المهام الرئيسية المتعلقة بالبيانات التي تتيحها dbt ما يلي:

• إدارة مهام سير العمل المعقدة لتحويل البيانات
• تجهيز البيانات لإعداد التقارير والتحليل من خلال تحويل البيانات غير المنسقة إلى تنسيق منظم
• إنشاء نماذج متعددة الطبقات وقابلة لإعادة الاستخدام تمثّل المراحل المختلفة لتحويل البيانات
• ضمان تنفيذ عمليات تحويل البيانات بالتسلسل الصحيح وإمكانية تكاملها مع مهام سير عمل أشمل للبيانات.

غالبًا ما تستخدم المؤسسات dbt لتحويل البيانات داخل مستودعات بيانات مثل Amazon Redshift وGoogle BigQuery، ومنصات لإدارة البيانات مثل Snowflake، ومستودعات بحيرة بيانات مثل watsonx.data®.

تُستخدم عملية الاستخراج والتحميل والتحويل (ELT) عادةً في بيئات استخدام البيانات في الوقت الفعلي أو ذات الحجم الكبير. ومن الأمثلة على ذلك:

تتيح ELT الاستيعاب السريع لبيانات متنوعة غالبًا ما تكون بالغة الأهمية لأحمال تشغيل الذكاء الاصطناعي والتعلم الآلي. ولأن البيانات تُحمّل بصورتها غير المنسقة، يمكن إعادة استخدامها لبناء نماذج ذكاء اصطناعي مختلفة وتدريبها. وفقًا لتقرير صادر عن كلية Sloan للإدارة في معهد MIT، تسهم إمكانية إعادة استخدام البيانات في تحسين أداء مبادرات الأعمال المستندة إلى الذكاء الاصطناعي.

تتيح ELT للمؤسسات توحيد بيانات العملاء من مصادر مختلفة للاسترشاد بها في مبادرات تقسيم العملاء إلى شرائح والتخصيص. فعلى سبيل المثال، قد يساعد استيعاب المعلومات المتعلقة بسجلات مشتريات العملاء وسلوكيات تصفحهم وخصائصهم الديموغرافية وتحليلها تجارَ التجزئة العاملين في التجارة الإلكترونية على تصميم عروض وخصومات مخصصة.

تستطيع المؤسسات استخدام ELT لتجميع البيانات بكفاءة من مختلف الأنظمة، ثم إجراء عمليات تحويل عليها لاستيفاء متطلبات تنظيمية محددة، مع الحفاظ على مسارات التدقيق وإمكانية الوصول إلى البيانات الأصلية غير المنسقة. وجدت إحدى الدراسات أن أنظمة ELT العاملة في بيئات السحابة الهجينة يمكن أن تقلّل زمن الانتقال في إعداد تقارير المخاطر والتقارير المالية والتنظيمية بنسبة 40%.

تدعم ELT استيعاب البيانات من أجهزة الاستشعار وأجهزة إنترنت الأشياء (IoT) وأنظمة إدارة المخزون. يمكن لهذا النهج أن يمدّ التحليلات بالمعلومات التي تساعد على تحسين مسارات التوصيل وإدارة المخزون. فعلى سبيل المثال، قد يساعد تحليل البيانات المستوعبة عن المبيعات واستيفاء الطلبات تجارَ التجزئة على تحسين مستويات المخزون لتجنّب نفاده.