ما المقصود بهندسة بيانات الذكاء الاصطناعي الوكيل؟

هندسة بيانات الذكاء الاصطناعي الوكيل هي نشر وكلاء الذكاء الاصطناعي بهدف تحسين وتسريع إنشاء وصيانة الأنظمة التي تجمع البيانات وتحللها.

كما يوحي اسمها، فإن هندسة بيانات الذكاء الاصطناعي الوكيل هي دمج هندسة البيانات والذكاء الاصطناعي الوكيل. ويشير المصطلح الأول إلى تطوير وصيانة البنية التحتية للبيانات ومسارات البيانات التي تشكل جزءًا أساسيًا من إدارة البيانات.

ويشير المصطلح الثاني إلى أنظمة الذكاء الاصطناعي التي يمكنها تحقيق هدف محدد مع إشراف بشري محدود. في أطر عمل الأنظمة متعددة الوكلاء، يجري تنسيق المهام الفرعية التي ينفذها العديد من وكلاء الذكاء الاصطناعي، وهي نماذج التعلم الآلي التي تحاكي صناعة القرار البشري، من خلال تنسيق الذكاء الاصطناعي.

في هندسة البيانات، يمكن لوكلاء الذكاء الاصطناعي تنفيذ عمليات حل المشكلات متعددة الخطوات وهي أساسية لضمان توفر بيانات عالية الجودة لحالات استخدام المؤسسات. تشمل هذه العمليات تصميم مسارات البيانات وتنفيذ مهام معالجة البيانات الحيوية، مثل إجراء تحويلات البيانات واكتشاف مشكلات البيانات.

تُعرف هندسة بيانات الذكاء الاصطناعي الوكيل أيضًا باسم هندسة البيانات القائمة على الوكلاء، ويمكنها تقليل أحمال تشغيل فرق هندسة البيانات بصورة ملحوظة مع تحسين أداء مسارات البيانات أيضًا. بالإضافة إلى ذلك، يمكن لهندسة بيانات الذكاء الاصطناعي الوكيل تمكين مستخدمي الأعمال من الوصول إلى بيانات المؤسسات واستخلاص الرؤى حتى لو كانوا يفتقرون إلى المهارات التقنية.

لفهم سبب اعتماد أنظمة الذكاء الاصطناعي الوكيل في هندسة البيانات، من المفيد إلقاء نظرة أقرب على طبيعة هندسة البيانات الحديثة.

تعد هندسة البيانات ضرورية للمؤسسات التي تسعى إلى تحقيق قيمة من منظومات البيانات التي تزداد اتساعًا وتعقيدًا. يساعد مهندسو البيانات على هيكلة وظائف مهام سير العمل التي تحول البيانات الخام إلى مخرجات توفر قيمة تجارية واقعية وضمان كفاءة عملها. عند تنفيذ ذلك بنجاح، تؤدي هندسة البيانات إلى تقديم مجموعات بيانات نظيفة ودقيقة في الوقت المناسب، والتي يمكن تحليلها للحصول على رؤى قابلة للتنفيذ أو استخدامها لدعم مبادرات الذكاء الاصطناعي.

ومع تسارع المؤسسات في اعتمادها على صناعة القرار القائم على البيانات، بما في ذلك اتخاذ القرارات المتعلقة بإطار زمني محدد بناء على البيانات الفورية، أصبحت الحاجة إلى مسارات بيانات موثوقة أكبر من أي وقت مضى. لكن تحديات صيانة مثل هذه المسارات أصبحت أيضًا أكبر من أي وقت مضى، فمهندسو البيانات الآن مكلفون بالإشراف على مجموعات البيانات والعمليات التنظيمية التي تزداد تعقيدًا.

وهذا يعني حتمًا أن فرق البيانات تقضي الكثير من وقتها في "مكافحة الحرائق". بعبارة أخرى، يركزون على الصيانة وحل المشكلات لمعالجة مشكلات مسارات البيانات، والأسوأ من ذلك، فشل مسارات البيانات.

أوضح Justin Yan، مدير منتجات أول في قسم البيانات والذكاء الاصطناعي في IBM، في فيديو IBM Technology: "عندما تعمل فرق هندسة البيانات على بناء مسارات الأنابيب، غالبًا ما يعتمد المهندسون على مزيج من المهام المجدولة، والإجراءات المخزنة، والنصوص المعقدة، بالإضافة إلى منطق التحول. ويعمل كلٌّ منها معًا للحفاظ على تدفق البيانات. أحيانًا عندما يحدث تغيير واحد في المخطط أو عند إعادة تسمية عمود في نظام المصدر، يمكن أن يؤدي ذلك إلى ساعات من تصحيح الأخطاء وإعادة الاختبار".

لحسن الحظ، يمكن الآن نشر وكلاء الذكاء الاصطناعي للتعامل مع معظم هذا العمل، ولمنع ظهور المشكلات في المقام الأول. قال Yan إن الوكلاء الأذكياء يمكنهم "حل المشكلات تكامل البيانات، والمساعدة على التخطيط والمراقبة والتكيف مع تحديات البيانات حتى تصل البيانات إلى حيث يجب أن تكون بالجودة والوقت اللذين تتطلبهما أحمال التشغيل".

يدعم مزيج من التقنيات نشر الذكاء الاصطناعي الوكيل لهندسة البيانات.

بينما يمكن أن يختلف استخدام الوكلاء المستقلين في هندسة البيانات حسب نظام البيانات وفريق الهندسة، إليك نظرة عامة على كيفية تعامل الأنظمة المدعومة بالذكاء الاصطناعي مع عمليات ومهام هندسة البيانات المختلفة عبر دورة حياة البيانات.

تمكن هندسة بيانات الذكاء الاصطناعي الوكيل المؤسسات من أتمتة عملية إنشاء مسارات البيانات. يمكن للمستخدمين التعبير عن نواياهم بشأن ما يقدمه المسار باستخدام اللغة الطبيعية من دون تحديد الخطوات اللازمة لتحقيق النتائج المرجوة، ويترك الأمر لوكيل الذكاء الاصطناعي لتحديد كيفية عمل المسار. يُعرف ذلك باسم التأليف التوضيحي للمسارات وهو بديل للنهج العملي المتمثل في البرمجة كل خطوة من خطوات المسار.

بعد أن يرسل المستخدم طلبًا بلغة طبيعية، تعمل النماذج اللغوية الكبيرة على تحليل الطلب وفهم نية المستخدم. بعد ذلك، يصمم وكيل الذكاء الاصطناعي وغالبًا ما ينفذ عملية شاملة تشمل:

• الاتصال والاستيعاب من مصادر البيانات
• تطبيق تحويلات البيانات
• نقل البيانات الجديدة إلى النظام المستهدف

قد يختار المستخدمون الذين لديهم معرفة تقنية أكبر تحديد بنية خط أنابيب البيانات المطلوب. يمكنهم القيام بذلك باستخدام إحدى مجموعات تطوير البرمجيات (SDK) من Python، والتي تمكن النماذج اللغوية الكبيرة من كتابة نصوص Python وتنفيذها بناء على طلبات المستخدم لمهام مختلفة متعلقة بالبيانات، مثل اختيار مصدر بيانات أو تنظيف البيانات.

بمجرد تصميم المسار، يمكن لنظام الذكاء الاصطناعي الوكيل تنفيذ أحمال التشغيل. يعمل وكلاء الذكاء الاصطناعي على استدعاء الأدوات للتفاعل مع الأدوات الخارجية أو واجهات برمجة التطبيقات (APIs) أو الأنظمة اللازمة للاتصال بمصادر البيانات، وفهم البيانات الوصفية، وإجراء التحولات.

كما يعمل الوكلاء على تحديد مسار التنفيذ الأمثل لمهام سير عمل البيانات عبر البيئات المختلطة. يشمل ذلك اختيار أفضل طرق للتكامل بطريقة ديناميكية (البث في الوقت الفعلي، أو عمليات ETL/ELT الدفعية أو التكرار) وبيئات وقت التشغيل (المحلية، أو السحابية أو عبر قدرات التنفيذ والمحركات البعيدة) لكل جزء من المهمة.

يمكن أن يساعد التعلم المعزز الوكلاء على تحسين خطط المسارات مع مرور الوقت من خلال مكافأة عمليات المسارات المكونة والمكتملة على نحو صحيح.

يمكن للنظام القائم على الوكلاء تمكين قابلية الملاحظة من خلال مراقبة المسارات باستمرار. يمكن للوكلاء اكتشاف الانحرافات في المخططات، والحالات الشاذة في البيانات، ومشكلات جودة البيانات. يمكنهم أيضًا دعم تحليل السبب الأساسي لمشكلات المسارات، واقتراح خطوات للمعالجة وتنفيذ تلك الخطوات.

يمكن أن يكون التنفيذ الذاتي لإصلاحات المسارات مفيدًا خاصةً في الأوقات غير المناسبة. "ماذا لو فشلت مهمة ليلية؟" أوضح John Wen، مدير منتجات IBM في فيديو IBM Technology: "بدلاً من استدعاء شخص ما، يمكن للوكيل إعادة تشغيل العمليات، وتوسيع نطاق المحركات، وضبط منطق التدفق تلقائيًا،".

توفر هندسة بيانات الذكاء الاصطناعي الوكيل العديد من الفوائد للمؤسسات، وفرق البيانات، ومستخدمي الأعمال. ويشمل ذلك ما يلي:

إن التحدي الأساسي الذي يواجه مهندسي البيانات اليوم هو التعامل مع البيانات عبر بيئات معقدة ومنعزلة: سحابات مختلفة، ومستودعات بيانات، وبحيرات بيانات، وخوادم محلية وأكثر. قد تكون بعض البيانات منظمة في جداول بيانات وقواعد بيانات SQL ، لكن الكثير منها غير منظم في المستندات ورسائل البريد الإلكتروني والنصوص والصور. في النظام المؤسسي، يمكن لوكلاء الذكاء الاصطناعي الاتصال بمجموعة من مصادر البيانات ودمج صيغ البيانات المتنوعة، لإنشاء منصات بيانات موحدة تتيح إجراء تحليلات أكثر تطورًا وتوقعات أكثر دقة.

يمكن لوكلاء الذكاء الاصطناعي أتمتة عمليات توصيف البيانات، والتحقق من صحة البيانات، وإنشاء القواعد، والمراقبة، والمعالجة. أوضح Yan: "سيكون بإمكان الوكلاء اكتشاف التغييرات في الأعمدة أو عدم تطابق الأنواع مبكرًا واقتراح حلول قبل فشل المهام. إن عمليات الفحص المستمرة للكشف عن الحالات الشاذة، وإعادة ملء البيانات تلقائيًا، وإعادة توجيه البيانات حول مصادر البيانات الفاشلة ستساعد على الحفاظ على موثوقية البيانات للاستخدامات النهائية في أنظمة الذكاء الاصطناعي".

يمكن لوكلاء الذكاء الاصطناعي تقييم إستراتيجيات التنفيذ المختلفة وتحديد الاختناقات والتعقيدات المحتملة، مثل التبعيات الخفية في مجموعات التطبيقات المختلفة. من خلال أخذ هذه المعلومات في الحسبان عند تصميم المسارات، يمكنهم وضع خطط تقلل من استهلاك الموارد والوقت التشغيلي مع تحقيق أهداف البيانات في الوقت نفسه.

بالإضافة إلى ذلك، مع تغير البنية التحتية أو المخططات، يمكن للأنظمة القائمة على الوكلاء تكييف المسارات الحالية وإعادة استخدامها، ما يساعد المؤسسات على تجنب تراكم المسارات القديمة والديون التقنية.

يمكن لتصميم المسارات والمراقبة المستمرة من قِبل وكلاء الذكاء الاصطناعي ضمان التزام البيانات الحساسة بقوانين خصوصية البيانات مثل قانون الولايات المتحدة لإخضاع التأمين الصحي لقابلية النقل والمساءلة لعام 1996 (HIPAA) واللائحة العامة لحماية البيانات في الاتحاد الأوروبي (GDPR). بالإضافة إلى ذلك، يمكن أن يدعم تتبع دورة الحياة بواسطة وكلاء الذكاء الاصطناعي الشفافية وقابلية التدقيق.

لم يعد مستخدمو الأعمال الذين لديهم خبرة تقنية محدودة أو معدومة بحاجة إلى الاعتماد على محترفي البيانات حصريًا لمساعدتهم على تلبية احتياجاتهم من البيانات. يمكنهم طلب إنشاء أو تسليم مجموعات البيانات من وكلاء الذكاء الاصطناعي بدلاً من انتظار مساعدة من متخصص في البيانات، ما يساعدهم على تحقيق رؤى رئيسية بسرعة أكبر.

يمكن لوكلاء الذكاء الاصطناعي تصميم وبناء وتنفيذ مسارات بيانات تعمل بالكامل في جزء بسيط من الوقت الذي تستغرقه فرق البيانات لبرمجة هذه الخطوط يدويًا. يمكن لوكلاء الذكاء الاصطناعي أيضًا جعل هذه المسارات قابلة للتكيف و"ذاتية الشفاء"، أي يمكنهم مراقبة المشكلات ومعالجتها قبل أن تؤدي إلى تعطيل العمليات النهائية. بوجه عام، هذا يعني أن المؤسسات يمكنها الاستمرار في إضافة المسارات بثقة مع نمو وتطور احتياجاتها من البيانات.

من خلال تفويض مهام تصميم المسارات، والصيانة، واستكشاف الأعطال إلى أنظمة الذكاء الاصطناعي الوكيل، يمكن لمهندسي البيانات تعزيز إنتاجيتهم وزيادة قدرتهم على متابعة المهام ذات القيمة العالية والأعمال الأكثر جدوى، مثل تطوير القدرات الجديدة وتجربتها.

كما هو الحال مع حالات استخدام الذكاء الاصطناعي الأخرى، يجب على المؤسسات الأخذ في الحسبان عدة تحديات محتملة في أثناء سعيها لنشر الذكاء الاصطناعي الوكيل في هندسة البيانات.

• صعوبة دمج وكلاء الذكاء الاصطناعي مع الأنظمة القديمة التي لا تتوافق بطبيعتها مع تقنية الذكاء الاصطناعي.
  
  
• خطر تنفيذ الوكلاء لمهام غير متوقعة على نحو مستقل، مثل إعادة معالجة كميات هائلة من البيانات خلال ساعات العمل، ما يعطل مهام سير العمل.
  
  
• خطر مساهمة الوكلاء في اختراقات أمن البيانات، سواء بسبب تعرضهم لهجوم إلكتروني أو ببساطة بسبب مخرجات الذكاء الاصطناعي غير الموثوقة.

يمكن لحلول البرمجيات والمنصات أن تساعد المؤسسات على مواجهة تحديات دمج الذكاء الاصطناعي الوكيل، بما في ذلك الأنظمة المعتمدة على الذكاء الاصطناعي لهندسة البيانات، في مهام سير العمل اليومية.

تتيح أدوات حوكمة الذكاء الاصطناعي الفعالة تضمين حواجز الحماية للحد من سلوكيات الوكلاء غير المقصودة ونشر مقاييس متخصصة لتقييم أداء الوكلاء. يمكن لحلول تنسيق الذكاء الاصطناعي أن تساعد على سد الفجوات بين تقنيات الذكاء الاصطناعي المتقدمة والأنظمة المؤسسية القديمة من دون الحاجة إلى إعادة هندسة طويلة الأمد.