ما مسار بيانات الذكاء الاصطناعي؟

مسار بيانات الذكاء الاصطناعي هو نظام لاستيعاب وتحويل وتسليم البيانات بشكل مستمر لتطوير وتدريب ونشر نماذج الذكاء الاصطناعي (AI).

غالبا ما تواجه مسارات البيانات التقليدية الموجهة بالدفعات صعوبة في دعم مسارات عمل الذكاء الاصطناعي الحديثة، إذ تفتقر هذه المسارات إلى القدرة على توفير بيانات محوكمة وبزمن تأخير منخفض بشكل مستمر، وغالباً ما تكون قابليتها للتوسع محدودة بسبب المعماريات الهشة.

المؤسسات اليوم تشعر بالتأثير. في استطلاع شمل رؤساء في مجال إدارة البيانات عام 2025 أجراه معهد IBM Institute for Business Value (IBV)، أفاد 26% فقط باقتناعهم بأن قدرات البيانات لديهم يمكنها دعم تدفقات الإيرادات الممكنة بالذكاء الاصطناعي.

صُممت مسارات بيانات الذكاء الاصطناعي الحديثة لاستيعاب ومعالجة أحجام كبيرة ومتنوعة من البيانات بسرعة لدعم متطلبات الذكاء الاصطناعي لحداثة البيانات. كما تثري البيانات بالبيانات الوصفية، والتسلسل، والمعايير التشغيلية، وقواعد الحوكمة حتى تتمكن نماذج الذكاء الاصطناعي من تفسير البيانات بأمان وفعالية. عادة ما يتم تخزين البيانات في هياكل قابلة للتوسع وموزعة مصممة لتسهيل الوصول إلى البيانات عالية السرعة.

يمكن لأدوات الذكاء الاصطناعي وهندسة بيانات الذكاء الاصطناعي الوكيل أن تساعد في تسريع وتبسيط العمليات الرئيسية في خطوط بيانات الذكاء الاصطناعي، وبمعنى آخر، يمكن للمؤسسات استخدام الذكاء الاصطناعي للمساعدة في تشغيل الذكاء الاصطناعي وتحسينه.

تم تصميم مسارات البيانات التقليدية لمعالجة وتخزين البيانات المهيكلة، غالبًا من خلال أحمال التشغيل متوقعة مجدولة لمعالجة الدفعات على فترات روتينية. عادة ما كانت البيانات تُستخرج من أنظمة المصدر وتُحمَّل في مستودعات بيانات لتحليلها من خلال عمليات الاستخراج، التحويل، التحميل (ETL) (ويشار إليها أحيانا بمسارات ETL). إنها طريقة نجحت (ولا تزال تتسم بالكفاءة) بشكل جيد في وظائف معالجة البيانات التي ليست حساسة للوقت ولمجموعات البيانات المنظمة في قواعد البيانات العلائقية.

أتاحت معالجة الدفعات، على وجه الخصوص، للمؤسسات إمكانية تحسين استغلال الموارد من خلال تقسيم المهام خلال فترات مناسبة، مثل أوقات الليل، عندما لا يقع على الأنظمة عبء تشغيلي يذكر. ولدى إتمام المهام، يمكن إدخال النتائج إلى لوحات المعلومات واستخدامها لتوجيه قرارات الأعمال، وذلك بعد جمع البيانات واستيعابها.

لكن البيانات الخاصة بأحمال العمل في الذكاء الاصطناعي تتطلب نهجًا مختلفًا بشكل ملحوظ غالبًا لا تستطيع المسارات التقليدية تنفيذه. تكافح بنية المسارات التقليدية لاستيعاب ما يلي:

• الذكاء في الوقت الحقيقي: تدفق البيانات في الوقت الفعلي والقريب من الوقت الفعلي الضرورية لاتخاذ قرارات دقيقة وفي الوقت المناسب
  
  
• توحيد البيانات: توحيد البيانات من مصادر متنوعة، بما في ذلك البيانات غير المنظمة المستخدمة في نماذج الذكاء الاصطناعي التوليدي والتوليد المعزز بالاسترجاع (RAG)
  
  
• جاهزية التعلم الآلي: تخزين الميزات، وهي مستودعات للسمات المشتقة من البيانات غير منسقة التي تستخدم كإدخال لنماذج التعلم الآلي
  
  
• الفهم السياقي: القدرة على وضع البيانات في سياقها بحيث لا تكون المعلومات متاحة فحسب، بل مفهومة أيضاً.
  
  
• الحوكمة الموثوقة: تتبع التسلسل والحوكمة اللذان يساعدان في ضمان معالجة مشكلات البيانات قبل أن تحدث تأثيرات تابعة في مسارات العمل السريعة.

بالإضافة إلى ذلك ، أثبتت المسارات التقليدية تاريخياً أنها جامدة وهشة. التغييرات غير المتوقعة في البداية، مثل تغيير المخطط أو إعادة تسمية العمود، يمكن أن تسبب أعطالاً في المسارات وتؤدي إلى ساعات من استكشاف الأخطاء وإصلاحها.

وفي الوقت نفسه، فإن المنطق المبرمج في المسارات التقليدية يجعل تغييرها عملية شاقة، ما يصعب توفير قابلية التوسع والتخصيص التي تتطلبها مبادرات الذكاء الاصطناعي التحويلية. عندما تتغير الاحتياجات، يفضل مهندسو البيانات غالبا بناء مسارات بيانات جديدة بدلاً من تعديل الخطوط الحالية خوفًا من تعطلها، ما يؤدي إلى توسع المسارات وتراكم الديون التقنية.

في حال استخدام المسارات التقليدية لنقل البيانات إلى نماذج الذكاء الاصطناعي، فإن ركود البيانات وجودة البيانات الرديئة وغيرها من المشاكل يمكن أن تعيق أداء النموذج.

كما كتب باحثو معهد IBM Institute for Business Value في تقرير عام 2025: "الجاهزية للذكاء الاصطناعي تبدأ بأكثر من مجرد بيانات نظيفة. يتطلب ذلك بنية تجعل البيانات عالية الجودة متاحة في الوقت والمكان الذي يحتاجه الذكاء الاصطناعي."

توفر خطوط بيانات الذكاء الاصطناعي تلك البنية، مع قدرات وميزات مصممة لتلبية متطلبات نماذج الذكاء الاصطناعي والتطبيقات المدعومة بالذكاء الاصطناعي. يمكن لمسارات بيانات الذكاء الاصطناعي استيعاب المعلومات من مجموعة متنوعة من مصادر البيانات. بمجرد استيعاب البيانات، غالبا ما تتبع المسارات نهج "shift left"، حيث تعالج البيانات أقرب إلى المصدر، ما يقلل من زمن الانتقال ويتيح حداثة البيانات.

إلى جانب تسريع تدفقات البيانات، توسع خطوط بيانات الذكاء الاصطناعي أيضا نطاق البيانات المتاحة من خلال قدرتها على دمج البيانات غير المنظمة، إذ تشكل البيانات غير المنظمة معظم البيانات التي تولدها المؤسسات وتعد مصدرا غنيا للرؤى القابلة للتنفيذ، لكنها كانت في السابق غير متاحة إلى حد كبير للتحليل وحالات استخدام الذكاء الاصطناعي.

في خطوط بيانات الذكاء الاصطناعي، يتم تحويل البيانات غير المنظمة إلى تضمينات متجهة يمكنها تشغيل نماذج الذكاء الاصطناعي التوليدي وكذلك التوليد المعزز بالاسترجاع.

يحمل إطار مسار بيانات الذكاء الاصطناعي عددًا من أوجه الشبه مع مسارات البيانات التقليدية. ومع ذلك، فإن مسار بيانات الذكاء الاصطناعي يتميز بأنه يستوعب ويدمج ويثري وتخزين البيانات بطرق مصممة لتحسين تدريب ونماذج الذكاء الاصطناعي والأداء.

تتصل مسارات بيانات الذكاء الاصطناعي بالبيانات الخام وتستوعبها، بما في ذلك البيانات غير المنظمة والبيانات في الوقت الفعلي، من مجموعة من المصادر. يمكن أن تشتمل تلك المصادر على تدفقات أحداث، وكذلك تطبيقات وواجهات برمجة تطبيقات، وتنبع من بيئات متعددة، بما في ذلك بيئات محلية وسحابة هجينة. تتيح منصات بث الأحداث مثل Apache Kafka تسليماً بزمن تأخير منخفض وإنتاجية عالية لمسارات بيانات الذكاء الاصطناعي.

أثناء معالجة البيانات المسبقة، يتم دمج البيانات وتحويلها لجعلها قابلة للاستخدام للذكاء الاصطناعي، بغض النظر عن تنسيقها الأصلي أو نوع البيانات أو مصدرها. طبيعة تحويل البيانات في مسار بيانات الذكاء الاصطناعي يمكن أن تختلف حسب أساليب التكامل وعملياته.

يمكن لتكامل البيانات المتدفقة أن يحول البيانات في الوقت الحقيقي، مثل قراءات مستشعرات إنترنت الأشياء (IOT)، أثناء سير تلك البيانات الجديدة، ما يسمح بالاستخدام الفوري بواسطة التطبيقات المدعومة بالذكاء الاصطناعي. يستخدم التكامل للبيانات غير المنظمة وظائف مثل استخراج النصوص وتنظيف البيانات لتحويل البيانات المتنوعة، ما يجعلها متاحة لحالات استخدام الذكاء الاصطناعي من خلال تضمين المتجهات وتخزين قواعد بيانات المتجهات.

يمكن اعتبار هندسة الميزات نوعا من تحويل البيانات، لكن هدفها محدد بشكل أكثر صرامة، فهي تشير إلى تحويل البيانات الخام إلى صيغة قابلة للقراءة آليا لاستخدامها من قبل نماذج التعلم الآلي. مسبقاً قبل تدريب النموذج، تتضمن هندسة الميزات اختيار جوانب البيانات الأكثر صلة بنوع النموذج الجاري تدريبه وللمهمة التي يُدرب عليها.

يمكن أن تكون هندسة الميزات مهمة يدوية يقوم بها علماء البيانات، على الرغم من وجود أبحاث مستمرة في هندسة الميزات المؤتمتة.¹

بعد تحويل مجموعة البيانات من خلال الطرق التقليدية وهندسة الميزات، غالباً ما تُقسم إلى ثلاث مجموعات: واحدة للتدريب، وواحدة للملاءمة (ضبط معاملات الخوارزمية)، وواحدة للاختبار. تشغيل النموذج على هذه المجموعات الثلاث هو عملية تكرارية تستمر حتى يستوفي النموذج معيار الدقة أو الفائدة. قد تسلم مسارات بيانات الذكاء الاصطناعي أيضاً بيانات جديدة للنماذج لإعادة التدريب حسب الضرورة.

قد يتضمن إعداد مجموعات بيانات التدريب أيضاً التوضيح الشارح، وهو عملية إضافة تصنيفات ذات معنى إلى البيانات الخام، اعتماداً على نوع تدريب النموذج. على سبيل المثال، يتم تدريب النماذج اللغوية الكبيرة (LLMs) في البداية على بيانات غير معنونة، ولكن لاحقا قد يتم إحكام ضبطها بدقة على مجموعات بيانات معنونة.

تم تصميم تخزين البيانات في مسارات بيانات الذكاء الاصطناعي لمجموعات البيانات الكبيرة، والوصول السريع للبيانات، ومتطلبات الحوسبة الثقيلة. تستخدم معماريات قابلة للتوسع، بما في ذلك تخزين الكائنات وأنظمة الملفات المتوازية، والتي تعالج البيانات بالتزامن عبر عقد متعددة. تسمح هذه القدرة لتطبيقات الذكاء الاصطناعي بالتعامل بسرعة مع البيانات في الوقت الفعلي.

يوفر تخزين البيانات للذكاء الاصطناعي وصولاً عبر مصادر بيانات متنوعة، بما في ذلك البيئات السحابية والبيئات الطرفية. يمكن أن تشمل مستودعات التخزين لتخزين البيانات بالذكاء الاصطناعي مستودعات بيانات، وبحيرات بيانات، وبحيرات مستودعية للبيانات. نظرا لأن هذه المستودعات تتميز بميزة مختلفة، فإن العديد من بنى بيانات المؤسسات تتضمن نوعين أو ثلاثة أنواع.

بعد نشر النموذج المدرب، تقدم مسارات بيانات الذكاء الاصطناعي البيانات المستخدمة في الاستنتاج، باستخدام الأنماط التي تعلمها النموذج من بيانات التدريب للتنبؤ بالنتائج الصحيحة، بناء على البيانات الجديدة، لحالات الاستخدام الواقعية.

تتنوع نماذج الاستدلال بين الاستدلال الفوري المباشر والاستدلال المجدول بالدفعات. في الاستنتاج الفوري المباشر، يتم إدخال البيانات على الفور لدعم صناعة القرار في الوقت الفعلي. أما في الاستدلال المجدول بالدفعات، تعالج النماذج كميات كبيرة من البيانات بشكل غير متزامن في مجموعات (أو دفعات) في أوقات مجدولة؛ وهو خيار منخفض التكلفة عندما لا تكون السرعة أولوية.

هندسة السياق هي عملية هيكلة وتحسين السياق المقدم لنماذج الذكاء الاصطناعي حتى تمكنها من تفسير البيانات الملقمة لها بشكل أفضل. تتم هذه العملية عبر مراحل مختلفة من خط بيانات الذكاء الاصطناعي وتشمل تعريف النماذج الدلالية، وإثراء البيانات الوصفية، وتوحيد المعايير التشغيلية، ورسم علاقات الكيانات عبر الأنظمة.²

حوكمة البيانات هي تخصص إدارة البيانات الذي يركز على جودة البيانات وأمنها وتوافرها. يتضمن ذلك إنشاء ضوابط وصول، وسياسات، وتتبع التسلسل عبر بيانات الذكاء الاصطناعي وأعباء العمل. يمكن لأدوات قابلية الملاحظة اكتشاف تحيز البيانات، والشذوذ التشغيلي، والمشكلات الأخرى التي تؤثر في أداء النموذج وقد تتطلب إعادة تدريب أو معايرة النماذج.

هندسة بيانات الذكاء الاصطناعي الوكيل هي نشر وكلاء الذكاء الاصطناعي بهدف تحسين وتسريع إنشاء وصيانة الأنظمة التي تجمع وتحلل البيانات، وتحديدا مسارات البيانات.

تستفيد المؤسسات بشكل متزايد من وكلاء الذكاء الاصطناعي لتحسين توصيل البيانات إلى نماذج الذكاء الاصطناعي مع تحسين إنتاجية فرق هندسة البيانات. يمكن لوكلاء الذكاء الاصطناعي:

• أتمتة إنشاء مسارات البيانات
  
  
• تصميم مسارات العمل بناءً على موجهات اللغة الطبيعية
  
  
• تنفيذ عمليات تحويل البيانات
  
  
• اختيار أسلوب التكامل الأمثل لكل جزء من أجزاء العمل
  
  
• مراقبة المسارات وكشف انحراف المخططات، والشذوذ التشغيلي في البيانات، ومشاكل جودة البيانات 
  
  
• تقديم توصيات لمعالجة المشكلات والتصرف بناءً على تلك التوصيات

تتوقع شركة Gartner أنه بحلول عام 2027، سيقلل استخدام مساعدي الذكاء الاصطناعي وسير العمل المحسن بالذكاء الاصطناعي داخل أدوات تكامل البيانات من الجهد اليدوي بنسبة 60%.³

تعمل خطوط بيانات الذكاء الاصطناعي على تحسين البيانات لمبادرات الذكاء الاصطناعي مع توفير فائدة أوسع للمؤسسة. وإليك الطريقة:

• جودة البيانات المُحسّنة
• ذكاء يتسم بالرشاقة
• رؤى أكثر قوة
• تقليل صوامع البيانات
• دعم الامتثال
• قابلية التوسع والتخصيص
• معالجة استباقية للمشكلات
• إتاحة قدرات هندسة البيانات للجميع
• تقليل الجهد اليدوي

تعد مسارات بيانات الذكاء الاصطناعي قيمة لأي شركة تستغل أحمال عمل الذكاء الاصطناعي لتحقيق نتائج الأعمال.

يمكن لبيانات التدفق وتعلم الآلة تشغيل كشف عن الغش يتسم بالسرعة والدقة. يمكن للشبكة العصبية، وهي نوع من نماذج التعلم الآلي، مراقبة المعاملات الواردة وتحليل البيانات وتمييز السلوك الاحتيالي.

يمكن لتحليلات البيانات اللحظية المدعومة بالذكاء الاصطناعي أن تعزز تجارب عملاء سريعة وشخصية. على سبيل المثال، يمكن أن يؤدي تتبع نشاط تصفح العميل على موقع ويب إلى تمكين اقتراحات المنتجات المخصصة الفورية.

من خلال تنظيم البيانات في تضمينات متجهة، تمكّن مسارات بيانات الذكاء الاصطناعي التوليد المعزز بالاسترجاع، الذي يسترجع المعلومات من قواعد البيانات المتجهة. يساعد التوليد المعزز بالاسترجاع بدوره تطبيقات الذكاء الاصطناعي التوليدي على إنشاء مخرجات دقيقة ومحدثة بناءً على البيانات المسترجعة حديثاً.