ELT مقابل ETL: ما الفرق بينهما؟

باستخدام عملية ELT، يتم استخراج البيانات غير المنظمة من نظام مصدر وتحميلها على نظام مستهدف ليتم تحويلها لاحقًا، حسب الحاجة. تتم إتاحة هذه البيانات غير المنظمة التي تم استخراجها لأنظمة ذكاء الأعمال، ولا تكون هناك حاجة إلى منطقة مرحلية للبيانات. تستفيد عملية ELT من مستودعات البيانات لإجراء تحويلات بيانات أساسية، مثل التحقق من صحة البيانات أو إزالة البيانات المكررة. يتم تحديث هذه العمليات في الوقت الفعلي واستخدامها لكميات كبيرة من البيانات غير المنسَّقة. وتُعدّ ELT عملية أحدث لم تصل إلى كامل إمكاناتها مقارنةً بعملية ETL الأقدم. اعتمدت عملية ELT في الأصل على برامج SQL النصية المشفرة. ومن المرجح أن تحتوي برامج SQL النصية هذه على أخطاء محتملة في البرمجة أكثر من الطرق الأكثر تقدمًا المستخدمة في ETL.

من خلال عملية ETL، يتم استخراج البيانات غير المنظمة من نظام مصدر ويتم تحديد نقاط بيانات محددة و"مفاتيح" محتملة قبل تحميل البيانات إلى الأنظمة المستهدفة. في سيناريو ETL التقليدي، يتم استخراج بيانات المصدر إلى منطقة مرحلية، ومن ثم نقلها إلى النظام المستهدف. في المنطقة المرحلية، تخضع البيانات إلى عملية تحويل تقوم بتنظيم جميع أنواع البيانات وتنظيفها. وتسمح عملية التحول هذه بأن تكون البيانات المنظمة الآن متوافقة مع أنظمة تخزين البيانات المستهدفة. تم تصميم ETL في الأصل للعمل مع قواعد البيانات العلائقية، والتي هيمنت تاريخيًا على السوق. عمل مهندسو البيانات على عمليات ETL منذ سبعينيات القرن الماضي، ما أتاح لهم الوقت لتحسين عمليات ETL لعلم البيانات بشكل كبير.

في الفيديو التالي، يقدم جميل سبين مزيدًا من التعمق في عملية ETL: 

الاستخراج والتحويل والتحميل (ELT)

يتيح نهج ELT تنفيذًا أسرع من عملية ETL، على الرغم من أن البيانات تكون فوضوية بمجرد نقلها. يحدث التحويل بعد وظيفة التحميل، ما يمنع تباطؤ الترحيل الذي يمكن أن يحدث في أثناء هذه العملية. تقوم ELT بفصل مرحلتَي التحويل والتحميل، ما يضمن أن خطأً في البرمجة (أو خطأً آخر في مرحلة التحويل) لا يوقف جهد الترحيل. بالإضافة إلى ذلك، تتجنب ELT مشكلات توسع الخادم من خلال استخدام قوة المعالجة وحجم مستودع البيانات لتمكين التحويل القابل للتوسع على نطاق واسع. تعمل ELT أيضًا مع حلول مستودع البيانات السحابية لدعم أنواع البيانات المنظمة وغير المنظمة وشبه المنظمة والبيانات غير المنسقة.

الاستخراج والتحويل والتحميل (ETL)

يستغرق تنفيذ عملية ETL وقتًا أطول في التنفيذ ولكن ينتج عنها بيانات أنظف. هذه العملية مناسبة تمامًا لمستودعات البيانات المستهدفة الأصغر حجمًا والتي تتطلب تحديثًا بوتيرة أقل. تعمل ETL أيضًا مع مستودعات البيانات السحابية باستخدام منصات SaaS المستندة إلى السحابة ومستودعات البيانات الموجودة في الموقع.

يوجد أيضًا العديد من أدوات ETL مفتوحة المصدر والتجارية ذات قدرات وفوائد تشمل ما يلي:

• وظائف الأتمتة الشاملة وسهولة الاستخدام التي يمكنها أتمتة تدفق البيانات بالكامل وتقديم توصيات بشأن قواعد عملية الاستخراج، والتحويل، والتحميل.
• واجهة سحب ووضع مرئية تُستخدم لتحديد القواعد وتدفق البيانات.
• دعم إدارة البيانات المعقدة للمساعدة على العمليات الحسابية المعقدة وتكامل البيانات ومعالجة السلاسل النصية.
• ميزات الأمن والامتثال التي تعمل على تشفير البيانات الحساسة - في أثناء النقل وفي حالة التخزين - وتكون معتمدة وفق لوائح صناعية أو حكومية مثل قانون إخضاع التأمين الصحي لقابلية النقل والمساءلة (HIPAA) واللائحة العامة لحماية البيانات (GDPR). ويوفّر ذلك طريقة أكثر أمانًا لتشفير أو إزالة أو إخفاء حقول بيانات معيّنة لحماية خصوصية العملاء.

الاستخراج والتحويل والتحميل (ELT)

من الأفضل استخدام عملية ELT في مجموعات البيانات كبيرة الحجم أو بيئات استخدام البيانات في الوقت الفعلي.

تشمل الأمثلة المحددة ما يلي:

• المؤسسات التي لديها كميات كبيرة من البيانات: تقوم أنظمة الأرصاد الجوية مثل خدمات الطقس بجمع كميات كبيرة من البيانات وتصنيفها واستخدامها بشكل منتظم. كما تندرج الشركات ذات أحجام المعاملات الكبيرة ضمن هذه الفئة. تتيح عملية الاستخراج والتحميل والتحويل نقل بيانات المصدر بشكل أسرع.
• المؤسسات التي تتطلب الوصول الفوري: تقوم البورصات بإنشاء واستخدام كميات كبيرة من البيانات في الوقت الفعلي، حيث يمكن أن يكون التأخير ضارًا. وبالإضافة إلى ذلك، يحتاج موزعو المواد والعناصر الكبار إلى الوصول في الوقت الفعلي إلى البيانات الحالية لذكاء الأعمال.

الاستخراج والتحويل والتحميل (ETL)

من الأفضل استخدام ETL لمزامنة العديد من بيئات استخدام البيانات وترحيل البيانات من الإرث.
فيما يلي بعض الأمثلة المحددة:

• المؤسسات التي تحتاج إلى مزامنة البيانات من عدة مصادر: الشركات التي تقوم بدمج مشاريعها قد يكون لديها العديد من المستهلكين والإمدادات والشركاء المشتركين. يمكن تخزين هذه البيانات في مستودعات بيانات منفصلة وتنسيقها بشكل مختلف. تعمل ETL على تحويل البيانات إلى تنسيق موحد قبل تحميلها إلى موقع البيانات المستهدف.
• المؤسسات التي تحتاج إلى ترحيل بياناتها من الإرث وتحديثها: تتطلب أنظمة الإرث من عملية ETL تحويل البيانات إلى تنسيق متوافق مع الهيكل الجديد لقاعدة البيانات المستهدفة.

تتمثل الاختلافات الرئيسية بين ELT وETL في ترتيب العمليات بين العمليتين التي تجعلهما مناسبتين بشكل فريد لحالات مختلفة. توجد اختلافات أخرى في حجم البيانات وأنواع البيانات التي يمكن لكل عملية التعامل معها. وعلى الرغم من أن ELT وETL تبدوان متشابهتين، فإن تطبيقهما مختلف.

الاستخراج والتحويل والتحميل (ELT)

تكون العملية في ELT مبسطة من حيث إنها لا تحتاج إلى "مفاتيح" أو معرّفات أخرى لنقل البيانات واستخدامها. تم تنقيح عملية نقل البيانات إلكترونيًا وهناك العديد من أدوات نقل البيانات إلكترونيًا المتطورة التي يتم استخدامها للمساعدة في ترحيل البيانات. وتكون أوقات التحميل أقصر لأن العملية لا تحتوي على العديد من الخطوات التي يجب أن تمر بها. يأتي حل ELT لأنظمة ذكاء الأعمال من الحاجة إلى القدرة على تحميل البيانات غير المنظمة بسرعة. حل ELT الآلي المستند إلى السحابة يمكن أن يكون أيضًا منخفض الصيانة نسبيًا في الدعم.

الاستخراج والتحويل والتحميل (ETL)

توفر بيانات ETL مزيدًا من التعريف منذ البداية، وهو ما يتطلب عادةً مزيدًا من الوقت لنقل البيانات بدقة. وتتطلب هذه العملية تحديثات دورية للمعلومات فقط، وليس تحديثات في الوقت الفعلي. أوقات تحميل ETL أطول من ELT بسبب الخطوات العديدة في مرحلة التحويل التي يجب أن تحدث قبل تحميل البيانات.

تقدِّم IBM خدمات وحلول تكامل بيانات عديدة مُصممة لدعم خط بيانات جاهز للأعمال، وتزويد مؤسستك بالأدوات اللازمة للتوسع بكفاءة.

تمنح IBM، الرائدة في التكامل المحلي والمستند إلى السحابة، للمؤسسات الثقة التي تحتاجها عند إدارة مشاريع البيانات الكبيرة والتطبيقات وتقنيات التعلم الآلي. مع منصات رائدة في الصناعة مثل IBM® Cloud Pak for Data، يمكن للمؤسسات تحديث عمليات البيانات الخاصة بها، مع استخدام أفضل أدوات المحاكاة الافتراضية لتحقيق السرعة وقابلية التوسع التي تحتاجها أعمالها الآن وفي المستقبل.

لمزيد من المعلومات حول كيفية بناء استراتيجية فعّالة لتكامل البيانات وتنفيذها، استكشف مجموعة حلول IBM لتكامل البيانات.

سجل الاشتراك للحصول على IBMid وأنشأ حساب IBM® Cloud.