ما عملية ETL (الاستخراج والتحويل والتحميل)؟

وتوفّر مسارات بيانات ETL الأساس لتدفقات عمل تحليلات البيانات والتعلم الآلي. ومن خلال سلسلة من قواعد الأعمال، تنقّي ETL البيانات وتنظمها لتلبية احتياجات محددة لذكاء الأعمال، مثل إعداد التقارير الشهرية. وعند استخدامها بالاقتران مع تقنية تدفق البيانات، تُعرَف باسم ETL المتدفقة، ويمكنها إتاحة معالجة البيانات في الوقت الفعلي واستخلاص رؤى فورية.

وتوفّر مسارات بيانات ETL الأساس لتدفقات عمل تحليلات البيانات والتعلم الآلي. ومن خلال سلسلة من قواعد الأعمال، تنقّي ETL البيانات وتنظمها لتلبية احتياجات محددة في ذكاء الأعمال، مثل إعداد التقارير الشهرية. وعند استخدام ETL مع تقنية تدفق البيانات، يمكن تطبيقها أيضًا على تدفقات الأحداث الوافدة باستمرار، وهو نهج يُعرَف باسم ETL المتدفقة.

ورغم توافر خيارات أحدث لتكامل البيانات أمام المؤسسات اليوم، لا تزال ETL خيارًا شائعًا لأنها متوافقة مع الأنظمة القديمة، ويمكنها تحسين جودة البيانات، كما تتيح إخفاء البيانات الحساسة وهي لا تزال قيد النقل.  

وتتوفر أدوات ETL في صورة حلول مفتوحة المصدر وحلول تجارية. كما أنها غالبًا ما تكون مدمجة في قواعد البيانات والمنصات السحابية. وتشمل الإمكانات الرئيسية لحلول ETL الأتمتة الشاملة، والواجهات المرئية، والمرونة في التبديل بين ETL وأنماط تكامل البيانات الأخرى.

وتساعد ETL المؤسسات على جمع المعلومات من مصادر متباينة وتحويلها إلى بيانات موثوقة يمكن استخدامها في التحليلات والذكاء الاصطناعي عبر بيئات مختلفة، بدءًا من الخوادم المحلية وصولًا إلى المنصات السحابية.

ورغم ارتباط ETL الوثيق بالمشهد التقني الحالي، فإنها في الواقع تسبق أحمال عمل الذكاء الاصطناعي الحديثة والحوسبة السحابية. فقد ظهرت في سبعينيات القرن الماضي بوصفها عملية لتكامل البيانات وتحميلها لأغراض المعالجة والتحليل.

وأصبحت ETL في نهاية المطاف الطريقة الأساسية لمعالجة البيانات في مشاريع مستودعات البيانات. وفي التسعينيات والعقد الأول من الألفية الثالثة، ومع بزوغ عصر البيانات الضخمة، بدأت المؤسسات تستخدم ETL لتكامل كميات كبيرة من البيانات المستمدة من مصادر جديدة، مثل وسائل التواصل الاجتماعي وأجهزة إنترنت الأشياء (IoT) وأجهزة الاستشعار.

ومع تحوّل البنية التحتية السحابية إلى عنصر أساسي في الأعمال خلال العقد الأول من الألفية الثالثة، ساعدت برمجيات وأدوات ETL الحديثة في ترحيل البيانات وتكاملها في منصات ومستودعات البيانات السحابية، بما في ذلك Amazon Web Services (AWS) وMicrosoft Azure وSnowflake. كما أتاحت هذه المنصات لحلول ETL تقديم الرؤى بسرعة وعلى نطاق واسع، مما حقق للمؤسسات التي اعتمدتها مزايا تنافسية.

ويتمثل أحدث تطور في ETL في استخدامها لتكامل البيانات المتدفقة، بما يتيح تقديم رؤى محدَّثة لحظة بلحظة مستخلصة من تدفقات بيانات مستمرة.

وغالبًا ما تتضمن النقاشات حول ETL إشارة إلى عملية تكامل بيانات تحمل اسمًا مشابهًا، وهي ELT، أو الاستخراج والتحميل والتحويل.

وبغض النظر عن التشابه الاصطلاحي، تختلف العمليتان اختلافًا واضحًا. ويكمن أحد الفروق الواضحة بينهما في ترتيب العمليات. ففي ELT، يحدث تحويل البيانات في نهاية عملية تكامل البيانات، وليس في منتصفها. وتشمل أبرز الفروق بين العمليتين ما يلي:

وأسهل طريقة لفهم آلية عمل ETL هي فهم ما يحدث في كل خطوة من خطوات العملية الثلاث: الاستخراج، والتحويل، والتحميل.

وتبدأ عملية ETL بتحديد نقاط بيانات بعينها لاستهدافها بالاستخراج، إلى جانب أي «مفاتيح» محتملة يمكن استخدامها لدمج البيانات عبر أنظمة مصادر متباينة. وغالبًا ما يُتتبَّع مصدر بيانات الإدخال باستخدام البيانات الوصفية.

وأثناء استخراج البيانات، تُنسخ البيانات غير المنسقة أو تُصدَّر من مصادر البيانات إلى منطقة تجهيز مرحلية. ويمكن لفرق إدارة البيانات استخراج البيانات من مصادر متنوعة، سواء كانت منظمة أو غير منظمة. وتشمل مصادر البيانات ما يلي، على سبيل المثال لا الحصر:

• قواعد البيانات العلائقية أو قواعد بيانات NoSQL
• أنظمة إدارة علاقات العملاء(CRM) وأنظمة تخطيط موارد المؤسسات (ERP)
• أجهزة إنترنت الأشياء (IoT) وبيانات أجهزة الاستشعار
• الخدمات المصغرة (Microservices) وواجهات برمجة التطبيقات (APIs)
• ملفات JSON وXML
• قواعد البيانات المسطحة (Flat-file databases)
• البريد الإلكتروني
• صفحات الويب

وفي منطقة التجهيز المرحلية، تخضع البيانات غير المنسقة لمعالجة البيانات. وفي هذه المرحلة، تُحوَّل البيانات وتُدمَج بما يلائم حالة الاستخدام التحليلية المقصودة، وفقًا لقواعد أعمال محددة. ويمكن أن تشمل هذه المرحلة من عملية التحويل ما يلي:

• تنقية البيانات وتصفيتها وتجميعها وإزالة تكرارها.
• التحقق من صحة البيانات والتحقق من أصالتها.
• إجراء العمليات الحسابية أو الترجمات أو التلخيصات بناءً على البيانات غير المنسقة. يمكن أن تشمل هذه العملية تغيير رؤوس الصفوف والأعمدة لتحقيق الاتساق، وتحويل العملات أو وحدات القياس الأخرى، وتحرير السلاسل النصية والمزيد.
• إجراء عمليات تدقيق لضمان جودة البيانات والامتثال، وحساب المقاييس.
• إزالة البيانات التي تحكمها الصناعة أو الجهات التنظيمية الحكومية أو تشفيرها أو حمايتها.
• تنسيق البيانات في جداول أو جداول مترابطة بما يتماشى مع مخطط مستودع البيانات المستهدف

وفي هذه الخطوة الأخيرة، تُنقل البيانات المحوَّلة من منطقة التجهيز المرحلية إلى مستودع البيانات المستهدف. وفي ETL التقليدية، تتضمن هذه العملية تحميلًا أوليًا لكل البيانات، يليه تحميل دوري للتغييرات التزايدية في البيانات، وعلى نحو أقل تكرارًا، عمليات تحديث كاملة لمحو البيانات الموجودة في المستودع واستبدالها. أما في ETL المتدفقة الحديثة، فيحدث تحميل البيانات باستمرار.

ورغم أن ETL تُعد تقليديًا عملية موجهة للمعالجة على دفعات، فإن منصات تدفق الأحداث الموزَّعة، مثل Apache Kafka، توسّع أنماط ETL من المعالجة الدفعية إلى تدفقات أحداث تصل باستمرار. ويمكن لهذا النوع من ETL المتدفقة تمكين معالجة البيانات في الوقت الفعلي.

وتمكّن معالجات التدفق المتوافقة مع Kafka، مثل Kafka Streams وksqlDB  وApache Flink، مهندسي البيانات من بناء مسارات ETL تستوعب تدفقات الأحداث من أنظمة المصدر، وتحوّل البيانات أثناء حركتها، وترسلها إلى محركات التحليلات والتطبيقات اللاحقة، وكل ذلك بزمن انتقال منخفض، بخلاف التكامل القائم على المعالجة الدفعية.

كما تتمتع هذه ETL المتدفقة بمزايا أخرى مقارنةً بعمليات ETL التقليدية. ومن أبرز هذه المزايا المرونة وقابلية التوسع. ففي حين تُكتَب مسارات ETL التقليدية بمنطق تحويل مصمم لحالات استخدام ووجهات محددة، يمكن تحويل البيانات التي تتدفق إلى Kafka من مصادر مختلفة بما يلائم حالات استخدام ومستهلكين متنوعين.

وبعبارة أخرى، لا تتطلب ETL المتدفقة ذلك الاقتران الوثيق المعتاد في ETL التقليدية، مما يتيح تدفقات بيانات قابلة لإعادة الاستخدام، ويقلل الوقت والجهد اللازمين لإعادة تكوين المسارات.

وعلى الرغم من هذه المزايا، لا يزال بإمكان المؤسسات اختيار ETL التقليدية بدلًا من ETL المتدفقة عندما تكون التحويلات المعقدة ضرورية أو عندما لا يكون عامل الوقت حاسمًا. وفي مثل هذه الحالات، يمكن أن تكون ETL التقليدية والمعالجة الدفعية أكثر كفاءة من حيث التكلفة مقارنةً بـ ETL المتدفقة.

وبخلاف ETL التقليدية وETL المتدفقة وELT، توجد أيضًا مقاربات أخرى تُستخدم لتسهيل تدفقات عمل تكامل البيانات. وتشمل هذه الأساليب ما يلي:

يحدّد التقاط بيانات التغيير (CDC) بيانات المصدر التي تغيّرت فقط ويلتقطها، ثم ينقل هذه البيانات إلى النظام المستهدف. ويمكن استخدام CDC لتقليل الموارد المطلوبة أثناء خطوة «الاستخراج» في عملية ETL، كما يمكن استخدامه بصورة مستقلة لنقل البيانات إلى بحيرة بيانات أو مستودع آخر في الوقت الفعلي.

ويعمل تكرار البيانات على نسخ التغييرات التي تطرأ على مصادر البيانات إلى قاعدة بيانات مركزية، إما في الوقت الفعلي أو على دفعات. وبخلاف ETL، فإنه يحافظ عمومًا على البيانات مع إجراء قدر محدود من التحويل عليها. وغالبًا ما يُدرَج تكرار البيانات باعتباره أحد أساليب تكامل البيانات. وفي الواقع، غالبًا ما يُستخدم لإنشاء نُسخ احتياطية لأغراض التعافي من الكوارث، كما يمكن استخدامه أيضًا في ترحيل قواعد البيانات ولأغراض أخرى.

وتستخدم المحاكاة الافتراضية للبيانات طبقة تجريد برمجية لإنشاء طريقة عرض موحّدة ومتكاملة للبيانات، من دون نسخ بيانات المصدر أو تحويلها أو تحميلها فعليًا إلى نظام مستهدف. كما تتيح المحاكاة الافتراضية للبيانات للمؤسسة إنشاء مستودعات بيانات افتراضية وبحيرات بيانات ومتاجر بيانات من بيانات المصدر نفسها. وقد يقلل هذا النهج من تكاليف بناء منصات منفصلة لكل منها وإدارتها ومن تعقيد ذلك.

ويُعد تكامل بيانات التدفق مصطلحًا شاملًا لأساليب التكامل المختلفة التي تتيح الاستهلاك والتحميل المستمرَّين لتدفقات البيانات في الوقت الفعلي، بما في ذلك ETL المتدفقة وELT الحديثة والتقاط بيانات التغيير.

وتُعد Zero-ETL نهجًا سريعًا لتكامل البيانات، يتجاوز فيه المستهلكون للبيانات خطوات مسار البيانات التقليدية للاستعلام عن البيانات في صورتها الأصلية. وفي Zero-ETL، يُؤجَّل التحويل، بينما تُشارَك البيانات عبر اتصالات مباشرة من نقطة إلى نقطة بين أنظمة المصدر والأنظمة المستهدفة. ويمكن أن تتم هذه المشاركة من خلال تكرار البيانات أو الاستعلام الموحّد، وهو ما يتضمن الاستعلام عن البيانات عبر مصادر متعددة من دون الحاجة إلى نقلها.

وتوجد مناهج لتكامل البيانات يمكن اعتبارها مشتقة من ETL، لكنها تتضمن بعض الفروق الملحوظة.

• إن ETLT، أو الاستخراج والتحويل والتحميل ثم التحويل، هي ETL مع خطوة تحويل إضافية في النهاية. وفي حين يحدث بعض تحويل البيانات في منطقة التجهيز المرحلية، كما هو الحال في ETL التقليدية، يحدث تحويل إضافي في نظام الوجهة، مثل مستودع البيانات. وعادةً ما تتضمن خطوة التحويل الأولى تغييرات أساسية، بينما تتضمن خطوة التحويل اللاحقة تغييرات أكثر شمولًا.
• وتغيّر Reverse ETL مسار ETL التقليدية. فبدلًا من استخراج البيانات من مصادر البيانات، تُرسَل البيانات التي حُوِّلت بالفعل من مستودعات البيانات إلى تطبيق SaaS أو نظام تشغيلي أو مستهلك بيانات لاحق آخر. وتُعرَف هذه العملية أيضًا باسم التحليلات التشغيلية.
• وTETL، أو التحويل والاستخراج ثم التحويل والتحميل، هي ETL مع خطوة تحويل إضافية في البداية؛ إذ يحدث التحويل أولًا في مصدر البيانات قبل استخراج البيانات. وبعد ذلك، تُحوَّل البيانات مرة أخرى عند الحاجة قبل تحميلها إلى النظام المستهدف. وقد تختار المؤسسات استخدام TETL عندما يكون نظام المصدر قادرًا على إجراء التحويلات، بما يساعد على تقليل احتياجات المعالجة في المراحل اللاحقة.

وتوفر ETL التقليدية وETL المتدفقة فوائد متعددة للمؤسسات التي تدير بيئات وأصول بيانات متنامية.

• تحسين جودة البيانات: تحسّن ETL جودة البيانات أثناء مرحلة التحويل من خلال أساليب مثل تنقية البيانات وإزالة التكرار، مما يضمن أن تكون البيانات التي تصل إلى مخزن البيانات المستهدف موثوقة وجاهزة للاستخدام.
• دعم الامتثال: غالبًا ما تكون ETL مفيدة للشركات العاملة في قطاعات خاضعة لتنظيم صارم، مثل الخدمات المالية والرعاية الصحية، لأن تدابير الامتثال والأمان، مثل التشفير، يمكن تنفيذها قبل تسليم البيانات إلى وجهتها.
• التوافق مع الأنظمة القديمة: يمكن للمؤسسات التي تستخدم أنظمة قديمة، بما في ذلك الخوادم المحلية داخل مقرات العمل ذات الإمكانات الأقل من البيئات السحابية، نشر ETL التقليدية لضمان تحويل البيانات حسب الحاجة قبل تحميلها إلى الوجهات المستهدفة.
• إدارة احتياجات التخزين السحابي: يمكن لتقنيات تحويل البيانات، مثل التصفية والتجميع، أن تقلل حجم البيانات المحمّلة إلى منصات البيانات السحابية، مما يساعد على تقليل متطلبات التخزين السحابي وتكاليفه.
• دعم تدفقات عمل الذكاء الاصطناعي: تتيح ETL المتدفقة تسليمًا مستمرًا للبيانات عالية الجودة إلى تدفقات عمل الذكاء الاصطناعي والتعلم الآلي. كما أن تزويد نماذج الذكاء الاصطناعي بمعلومات حديثة وموثوقة يمكن أن يقلل الانحراف في النماذج ويحسّن دقة التنبؤ، مما يساعد المؤسسات على دمج الذكاء الاصطناعي بنجاح في عملياتها اليومية.

وقد ساعد تحديث ETL من خلال تقنيات تدفق البيانات في التخفيف من بعض تحدياتها التقليدية من خلال زيادة سرعتها ومرونتها. ومع ذلك، لا تزال هناك اعتبارات مهمة ينبغي للمؤسسات مراعاتها.

• التحضير المسبق: تتطلب ETL مجموعة تقنية (stack) أكثر تعقيدًا مقارنةً بـ ELT، بما في ذلك خوادم للتجهيز المرحلي والتحويل. كما تتطلب تحديد قواعد الأعمال وإنشاء منطق التحويل قبل بدء التكامل.
• تكاليف البنية التحتية والعمالة: ورغم أن ETL يمكن أن تساعد المؤسسات على خفض تكاليف الحوسبة السحابية، فإنها تميل إلى إنفاق مبالغ أكبر مقدمًا على البنية التحتية وتصميم المسارات مقارنةً بـ ELT.
• إدارة المخططات: يمكن أن تؤدي التغييرات غير المتوقعة في بنية بيانات المصدر، مثل إعادة تسمية الأعمدة أو تغيير أنواع البيانات، إلى فشل المسارات. ويمكن لأدوات إدارة المخططات، مثل سجلات المخططات، أتمتة التحقق من صحة المخططات لمنع المشكلات في المراحل اللاحقة.

ويعني التاريخ الطويل لـ ETL التقليدية وظهور ETL المتدفقة أن هذه العملية تدعم مجموعة واسعة من حالات الاستخدام عبر قطاعات مختلفة.

• التعامل مع البيانات الحساسة: أثناء مرحلة التحويل في ETL، يمكن حجب معلومات التعريف الشخصية (PII) قبل تسليمها إلى الوجهة المستهدفة.
• إعداد التقارير المنتظمة: تُعد ETL القائمة على الدُفعات طريقة فعالة من حيث التكلفة لتجميع البيانات اللازمة للتقارير التي تُنتَج على فترات مجدولة، مثل تقارير المبيعات وتقارير الامتثال التنظيمي.
• كشف الاحتيال: يمكن للمؤسسات المالية استخدام ETL المتدفقة لاكتشاف الأنماط المشبوهة وتمييز الحالات الشاذة فورًا التي تشير إلى احتيال محتمل.
• الصيانة التنبؤية: يمكن لتحليل بيانات إنترنت الأشياء، التي يجري استيعابها وتحويلها وتسليمها عبر ETL، أن يساعد المؤسسات على تقييم احتياجات الصيانة والإصلاح لمنع تعطل المعدات.

في الماضي، كان مهندسو البيانات في المؤسسات يكتبون الكود البرمجي الخاص بعمليات ETL بأنفسهم لإنشاء مسارات مخصصة. أما اليوم، فتوجد أدوات وخدمات ETL متنوعة تقلل بدرجة كبيرة الجهد والوقت اللازمين لبناء مسار ETL. وغالبًا ما تستفيد المؤسسات لهذا الغرض من البرمجيات مفتوحة المصدر، والحلول التجارية، والأدوات المدمجة في قواعد البيانات ومنصات الخدمات السحابية.

وتشمل إمكانات حلول ETL الرائدة ما يلي:

• الأتمتة الشاملة: إن أتمتة تدفق البيانات بالكامل، من مصادر البيانات إلى مستودع البيانات المستهدف، تجنّب مهندسي البيانات المهام المرهقة المتعلقة بنقل البيانات وتنسيقها، بما يحقق نتائج أسرع وعمليات أكثر كفاءة.
• واجهة مرئية تعمل بالسحب والإفلات: يمكن استخدام هذه الخاصية لتحديد القواعد وتدفقات البيانات.
• دعم إدارة البيانات المعقدة: تشمل هذه الإمكانية المساعدة في العمليات الحسابية المعقدة وعمليات تكامل البيانات ومعالجات السلاسل النصية.
• الأمان والامتثال: تُشفّر أفضل أدوات ETL البيانات، وتفرض قواعد حوكمة البيانات، وقد تتبع إرشادات للامتثال للوائح القطاعية أو الحكومية، مثل HIPAA وGDPR.
• مرونة أسلوب التكامل: يتيح خيار التبديل بين ETL وأنماط أخرى، مثل ELT وTETL، للمؤسسات المرونة اللازمة لاختيار أفضل أسلوب تكامل لكل حمل عمل.
• تكامل بيانات التدفق في الوقت الفعلي: تتضمن حلول ETL الحديثة إمكانات تدفق ومعالجة البيانات في الوقت الفعلي، وهي إمكانات أصبحت جزءًا لا يتجزأ من الذكاء الاصطناعي المؤسسي.

لا تزال ETL عملية أساسية لتكامل البيانات، حتى مع دراسة المؤسسات لأنماط أحدث في تكامل البيانات. وتُعد ETL القائمة على الدُفعات طريقة موثوقة وفعالة من حيث التكلفة لكثير من أحمال العمل، بينما تساعد ETL المتدفقة المؤسسات على الحصول على رؤى في الوقت الفعلي لدعم اتخاذ القرارات الحساسة للوقت.

ورغم أن ETL التقليدية ظهرت قبل البنية التحتية السحابية الحديثة، فإن ETL تُستخدم اليوم على نطاق واسع لاستخراج البيانات من مصادر مختلفة وتحويلها وتحميلها في مستودعات قائمة على السحابة، بما في ذلك مستودعات البيانات السحابية. وغالبًا ما يقدم مزودو الخدمات السحابية إمكانات ETL، بما في ذلك مناطق تجهيز مرحلية قائمة على السحابة. ويمكن لقابلية التوسع وقوة الحوسبة التي توفرها المنصات السحابية أن تعززا أداء عمليات ETL، مما يؤدي إلى معالجة أسرع واستخلاص الرؤى بسرعة أكبر.

ومنطقة التجهيز المرحلية هي موقع تخزين مؤقت يقع بين مصادر البيانات والوجهة المستهدفة، ويُستخدم لتخزين البيانات غير المنسقة مؤقتًا. وتعمل هذه المنطقة بمثابة منطقة تحميل تُنقّى فيها البيانات الأولية وتُفحَص وتُحوَّل قبل نقلها إلى الوجهة المستهدفة.

تصف عمليات التحميل الأولية والتزايدية والكاملة طرقًا مختلفة لتحميل البيانات أثناء ETL. والتحميل الأولي هو استخراج البيانات من مصدر بيانات وتحميلها إلى وجهة مستهدفة لأول مرة. ويتضمن ذلك مجموعة البيانات كاملة، ويُجرى مرة واحدة في بداية المشروع.

والتحميل التزايدي هو عملية تحميل البيانات الجديدة أو التي تغيّرت أو حُذفت فقط منذ آخر تحميل. أما التحميل الكامل فهو عملية نقل كل البيانات الموجودة في مجموعة بيانات إلى نظام مستهدف، وغالبًا ما يكون ذلك لاستبدال السجلات الموجودة في ذلك النظام.