ما عملية ETL (الاستخراج والتحويل والتحميل)؟

مسارات بيانات ETL توفر الأساس لتحليلات البيانات وتدفقات عمل التعلم الآلي. من خلال سلسلة من قواعد العمل، تقوم عملية ETL بتنقية البيانات وتنظيمها لتلبية احتياجات محددة في مجال ذكاء الأعمال، مثل التقارير الشهرية—ولكنها يمكنها أيضًا معالجة تحليلات أكثر تقدمًا، مما يحسن العمليات الخلفية وتجارب المستخدم النهائي. غالبًا ما تستخدم المؤسسات مسارات ETL من أجل:

• استخراج البيانات من الأنظمة القديمة

• تنقية البيانات لتحسين جودتها وتحقيق الاتساق

• تحميل البيانات في قاعدة البيانات المستهدفة

لقد ظلت الشركات تُنتج البيانات منذ عصر الحاسبة اليدوية، لكن التحليلات الحديثة لم تصبح ممكنة إلا مع ظهور الحاسوب الرقمي والتخزين الرقمي للبيانات.

لقد تحققت خطوة كبيرة إلى الأمام في سبعينيات القرن الماضي، مع الانتقال إلى قواعد بيانات مركزية أكبر. ثم تم تقديم عملية ETL (الاستخراج والتحويل والتحميل) كعملية لدمج البيانات وتحميلها لأغراض الحوسبة والتحليل، وأصبحت في نهاية المطاف الطريقة الأساسية لمعالجة البيانات لمشاريع تخزين البيانات.

في أواخر الثمانينيات، ازدادت شعبية مستودعات البيانات والانتقال من قواعد بيانات المعاملات إلى قواعد البيانات العلائقية التي خزنت المعلومات في تنسيقات البيانات العلائقية. قواعد بيانات المعاملات القديمة كانت تخزن المعلومات معاملة بمعاملة، مع تخزين معلومات العميل المكررة مع كل معاملة، لذلك لم تكن هناك طريقة سهلة للوصول إلى بيانات العملاء بطريقة موحدة على مر الزمن. مع قواعد البيانات العلائقية، أصبح التحليل هو الأساس لذكاء الأعمال (BI) وأداة مهمة في اتخاذ القرار.

حتى زهور برامج ETL الأكثر تطوراً، كانت المحاولات الأولى عبارة عن جهود يدوية إلى حد كبير من جانب فريق تكنولوجيا المعلومات لاستخراج البيانات من مختلف الأنظمة والموصلات، وتحويل البيانات إلى تنسيق موحّد، ثم تحميلها إلى جداول مترابطة. ورغم بساطة تلك المحاولات الأولى، فإنها شكّلت الأساس للتحليلات المتقدمة، خاصة مع تطور الخوارزميات وظهور الشبكات العصبية، مما أتاح فرصًا أعمق لاستخلاص الرؤى.

وصل عصر البيانات الكبيرة في التسعينيات مع استمرار نمو سرعات الحوسبة وسعة التخزين بسرعة، ومع سحب كميات كبيرة من البيانات من مصادر جديدة، مثل وسائل التواصل الاجتماعي وإنترنت الأشياء (IoT). لا يزال هناك عامل مقيّد، حيث غالبًا ما يتم تخزين البيانات في مستودعات البيانات المحلية.

الخطوة الرئيسية التالية في كل من الحوسبة و ETL كانت الحوسبة السحابية، التي أصبحت شائعة في أواخر التسعينيات. باستخدام مستودعات البيانات مثل Amazon Web Services (AWS) و Microsoft Azure و Snowflake، يمكن الآن الوصول إلى البيانات من جميع أنحاء العالم وتوسيع نطاقها بسرعة لتمكين حلول الاستخراج والتحويل والتحميل (ETL) من تقديم رؤى تفصيلية رائعة وميزة تنافسية جديدة.

أما أحدث مراحل تطور ETL، فتتمثل في الحلول التي تعتمد على البيانات المتدفقة لتقديم رؤى في الوقت الفعلي، من كميات هائلة من البيانات.

أوضح فرق بين ETL و ELT—الاستخراج، التحميل، التحويل—هو الفرق في ترتيب العمليات. ELT ينسخ البيانات أو يصدرها من مواقع المصدر، ولكن بدلاً من تحميلها إلى منطقة تجميع للتحويل، فإنه يحمل البيانات غير المنسقة مباشرةً إلى مخزن البيانات الهدف ليتم تحويلها حسب الحاجة.

بينما تستفيد كلتا العمليتين من مجموعة متنوعة من مخازن البيانات، مثل قواعد البيانات ومستودعات البيانات وبحيرات البيانات، فإن لكل عملية مزاياها وعيوبها. ELT مفيد لاستيعاب مجموعات البيانات غير المنظمة وذات الحجم الكبير حيث يمكن التحميل مباشرة من المصدر. تُعد ELT أكثر مثالية لإدارة البيانات الكبيرة، حيث لا تتطلب الكثير من التخطيط المسبق لاستخراج البيانات وتخزينها.

تتطلب عملية ETL مزيدًا من التعريف في البداية. يجب تحديد نقاط بيانات محددة لعملية الاستخراج بالإضافة إلى أي "مفاتيح" محتملة لدمج البيانات عبر أنظمة المصدر المختلفة. غالبًا ما يتم تتبع مصدر بيانات الإدخال باستخدام البيانات الوصفية. حتى بعد اكتمال هذا العمل، يجب إنشاء قواعد العمل لتحولات البيانات. يمكن أن يعتمد هذا العمل عادةً على متطلبات البيانات لنوع معين من تحليل البيانات، والذي سيحدد مستوى التلخيص الذي تحتاج البيانات إليه.

بينما أصبحت مسارات ELT شائعة بشكل متزايد مع تبني قواعد البيانات السحابية، لا تزال تقنية ELT قيد التطوير، مما يعني أن أفضل الممارسات لا تزال قيد التأسيس.

أسهل طريقة لفهم كيفية عمل ETL هي فهم ما يحدث في كل خطوة من خطوات العملية.

أثناء استخراج البيانات، يتم نسخ البيانات غير المنسقة أو تصديرها من مواقع المصدر إلى منطقة التجميع. يمكن لفرق إدارة البيانات استخراج البيانات من مجموعة متنوعة من المصادر المختلفة، والتي يمكن أن تكون منظمة أو غير منظمة. تشمل أنواع البيانات هذه، على سبيل المثال لا الحصر:

• خوادم SQL أو NoSQL
• أنظمة إدارة علاقات العملاء (CRM) وتخطيط موارد المؤسسات (ERP)
• JSON و XML
• قواعد البيانات المسطحة (Flat-file databases)
• البريد الإلكتروني
• صفحات الويب

في منطقة التجميع، تخضع البيانات غير المنسقة لمعالجة البيانات. هنا، يتم تحويل البيانات ودمجها لحالة الاستخدام التحليلي المقصودة. يمكن أن تشمل هذه المرحلة من عملية التحويل ما يلي:

• تصفية البيانات وتنقيتها وتجميعها وإزالة التكرار والتحقق من صحتها والمصادقة عليها.
• إجراء العمليات الحسابية أو الترجمات أو التلخيصات بناءً على البيانات غير المنسقة. يمكن أن يشمل ذلك تغيير رؤوس الصفوف والأعمدة لتحقيق الاتساق، وتحويل العملات أو وحدات القياس الأخرى، وتحرير السلاسل النصية والمزيد.
• إجراء عمليات تدقيق لضمان جودة البيانات، والامتثال التنظيمي، ومقاييس الحوسبة.
• إزالة البيانات التي تحكمها الصناعة أو الجهات التنظيمية الحكومية أو تشفيرها أو حمايتها.
• تنسيق البيانات في جداول أو جداول مترابطة بما يتماشى مع مخطط مستودع البيانات المستهدف

في هذه الخطوة الأخيرة، يتم نقل البيانات المحولة من منطقة التجميع إلى مستودع البيانات المستهدف. عادةً، يتضمن هذا تحميلًا أوليًا لجميع البيانات، يتبعه تحميل دوري لتغييرات البيانات المتزايدة، وبشكل أقل تكرارًا، تحديثات كاملة لمحو البيانات واستبدالها في المستودع. بالنسبة لمعظم المؤسسات التي تستخدم ETL، تكون العملية مؤتمتة ومحددة جيدًا ومستمرة وتعتمد على الدفعات. عادةً ما تتم عملية تحميل ETL في غير ساعات العمل عندما تكون حركة المرور على أنظمة المصدر ومستودع البيانات في أدنى مستوياتها.

تُعدّ ETL و ELT مجرد طريقتين لتكامل البيانات، وهناك أساليب أخرى تُستخدم أيضًا لتسهيل مهام سير عمل تكامل البيانات. ومن بين هذه الأنواع:

• التقاط بيانات التغيير (CDC) يحدد ويلتقط فقط بيانات المصدر التي تغيرت وينقل تلك البيانات إلى النظام المستهدف. يمكن استخدام CDC لتقليل الموارد المطلوبة أثناء خطوة "الاستخراج" في عملية ETL؛ كما يمكن استخدامه بشكل مستقل لنقل البيانات التي تم تحويلها إلى بحيرة بيانات أو مستودع آخر في الوقت الفعلي.
  
  
• تكرار البيانات ينسخ التغييرات في مصادر البيانات في الوقت الفعلي أو على دفعات إلى قاعدة بيانات مركزية. غالبًا ما يتم إدراج تكرار البيانات كطريقة لتكامل البيانات. في الواقع، يتم استخدامه غالبًا لإنشاء نسخ احتياطية للتعافي من الكوارث.
  
  
• تقنية المحاكاة الافتراضية للبيانات تستخدم طبقة تجريد برمجية لإنشاء عرض موحد ومتكامل وقابل للاستخدام بالكامل للبيانات — دون نسخ البيانات المصدر أو تحويلها أو تحميلها فعليًا إلى نظام مستهدف.تُمكّن وظائف المحاكاة الافتراضية للبيانات المؤسسات من إنشاء مستودعات بيانات افتراضية وبحيرات بيانات ومتاجر بيانات من نفس البيانات المصدر، وذلك لتخزين البيانات دون تكلفة وتعقيد بناء وإدارة منصات منفصلة لكل منها. في حين أنه يمكن استخدام المحاكاة الافتراضية للبيانات جنبًا إلى جنب مع ETL، إلا أنها تُعتبر بشكل متزايد بديلاً لـ ETL ولطرق تكامل البيانات المادية الأخرى.
  
  
• إن تكامل بيانات التدفق (SDI) هو بالضبط ما يبدو عليه الأمر—فهو يستهلك تدفقات البيانات باستمرار في الوقت الفعلي، ويقوم بتحويلها وتحميلها إلى نظام مستهدف لتحليلها. الكلمة الأساسية هنا هي باستمرار. بدلا من دمج لقطات البيانات المستخرجة من مصادر مختلفة في وقت معين، يدمج SDI البيانات باستمرار عند توفرها. يتيح SDI مخزن بيانات لتشغيل التحليلات والتعلم الآلي والتطبيقات في الوقت الفعلي لتحسين تجربة العملاء والكشف عن الغش وغير ذلك.

تحسّن حلول ETL جودة البيانات من خلال تنفيذ عملية تنقية البيانات قبل تحميلها إلى مستودع بيانات آخر. وباعتبارها عملية دفعات تستغرق وقتًا طويلاً، يُوصى باستخدام ETL غالبًا عند إنشاء مستودعات بيانات مستهدفة أصغر حجمًا لا تتطلب تحديثًا متكررًا.في المقابل، تُستخدم طرق أخرى لتكامل البيانات — بما في ذلك ELT (الاستخراج، التحميل، التحويل)، واكتشاف تغيّر البيانات (CDC)، والمحاكاة الافتراضية للبيانات — في دمج أحجام متزايدة من البيانات المتغيرة أو تدفقات البيانات في الوقت الفعلي.

في الماضي، كتبت المؤسسات رمز ETL الخاص بها. يوجد الآن العديد من أدوات ETL مفتوحة المصدر والتجارية والخدمات المستندة إلى السحابة للاختيار من بينها. تشمل القدرات النموذجية لهذه المنتجات:

• الأتمتة الشاملة وسهولة الاستخدام: توفر أدوات ETL الرائدة أتمتة كاملة لتدفق البيانات من مصادر البيانات إلى مستودع البيانات المستهدف. وهذا يُجنّب مهندسي البيانات المهام المتكررة المتمثلة في نقل البيانات وتنسيقها، ما يُسرّع النتائج ويُحسّن كفاءة العمليات.
  
  
• واجهة مرئية بخاصية السحب والوضع: يمكن استخدام هذه الوظيفة لتحديد القواعد وتدفقات البيانات.
  
  
• دعم إدارة البيانات المعقدة: يتضمن ذلك المساعدة في العمليات الحسابية المعقدة وتكامل البيانات ومعالجة السلاسل النصية.
  
  
• الأمان والامتثال: تقوم أفضل أدوات ETL بتشفير البيانات أثناء الحركة والسكون، وهي معتمدة ومتوافقة مع لوائح الصناعة أو اللوائح الحكومية، بما في ذلك HIPAA واللائحة العامة لحماية البيانات.

بالإضافة إلى ذلك، تطورت العديد من أدوات ELT لتشمل إمكانية ELT ودعم تكامل البيانات في الوقت الفعلي والبيانات المتدفقة لتطبيقات الذكاء الاصطناعي (AI).

يمكن استخدام واجهات برمجة التطبيقات (APIs) التي تستخدم تكامل التطبيقات المؤسسية (EAI) بدلاً من ETL للحصول على حل أكثر مرونة وقابلية للتوسع يتضمن تكامل سير العمل. في حين أن ETL لا يزال المورد الأساسي لتكامل البيانات، يتم استخدام EAI بشكل متزايد مع واجهات برمجة التطبيقات في الإعدادات المستندة إلى الويب.