ما هي وظيفة مجموعة تقنيا الذكاء الاصطناعي (AI stack)؟

على غرار مجموعة التقنيات (Tech Stacks) في تطوير البرمجيات، تعمل مجموعة تقنيات الذكاء الاصطناعي على تنظيم المكونات في طبقات متكاملة، مما يتيح تنفيذ حلول ذكاء اصطناعي فعّالة وقابلة للتوسع. يساعد هذا النهج الطبقي في تفكيك عملية تطوير حلول الذكاء الاصطناعي المعقدة إلى عناصر يمكن إدارتها، مما يُمكِّن الفرق من التركيز على الجوانب الفردية دون فقدان الرؤية الشاملة للمشروع.

تمثل كل طبقة في مجموعة تقنيات الذكاء الاصطناعي وظيفة محددة، بدءًا من معالجة البيانات وصولًا إلى نشر النماذج، مما يسهل تحديد الاعتماديات، وتخصيص الموارد، ومعالجة التحديات بشكل منهجي. يعزز هذا النهج القائم على الوحدات الوضوح، لا سيما عند العمل ضمن فرق متعددة التخصصات، حيث يتيح فهمًا مشتركًا لكيفية تفاعل العناصر المختلفة مع بعضها البعض.

تتداخل تطبيقات الذكاء الاصطناعي المختلفة مع عدة طبقات في مجموعة تقنيات الذكاء الاصطناعي. على سبيل المثال، تُعد ®Red Hat ®OpenShift منصة Kubernetes للمؤسسات مصممة لإدارة التطبيقات المحوسبة بالحاويات على نطاق واسع، وتُستخدم عبر معظم طبقات مجموعة تقنيات الذكاء الاصطناعي.

تنظم الجهات الفاعلة في مجال الذكاء الاصطناعي مجموعة تقنيات الذكاء الاصطناعي بطرق مختلفة، حيث يتم ترتيب العناصر بترتيب مختلف أو التركيز على وظائف معينة دون غيرها. يعود ذلك إلى تنوع أساليب الذكاء الاصطناعي، سواء على مستوى حالات الاستخدام أو على المستوى التنظيمي. إضافةً إلى ذلك، فإن مجال تطوير الذكاء الاصطناعي يشهد تطورًا مستمرًا.

بعد ذلك، سيتم استعراض إصدار عام من مجموعة الذكاء الاصطناعي للمؤسسات. يمكنك معرفة المزيد عن نهج IBM في الذكاء الاصطناعي التوليدي والنماذج اللغوية الكبيرة (LLMs)، مثل GPT من OpenAI، من خلال مراجعة مجموعة تقنيات الذكاء الاصطناعي التوليدي من IBM.

تشكل طبقة البنية التحتية للذكاء الاصطناعي الأساس الذي تُبنى عليه أنظمة الذكاء الاصطناعي ويتم نشرها من خلاله. توفر هذه الطبقة القوة الحاسوبية، والتخزين الفعلي، والأدوات اللازمة لتطوير وتدريب وتشغيل نماذج الذكاء الاصطناعي بكفاءة. تدعم هذه الطبقة كامل دورة حياة الذكاء الاصطناعي، بدءًا من التجريب الأولي وصولًا إلى النشر على نطاق واسع، وهي تتكون من عدة عناصر رئيسية.

الحساب

يتطلب معالجة البيانات وجود أجهزة مادية مخصصة. يمكن تحسين الرقائق لدعم أحمال تشغيل الذكاء الاصطناعي، حيث تساهم وحدات المعالجة عالية الأداء، المعروفة باسم مسرّعات الذكاء الاصطناعي—مثل وحدات معالجة الرسوميات (GPUs)، ووحدات المعالجة المركزية (CPUs)، ووحدات معالجة المصفوفات الموترية (TPUs)—في تقليل وقت تدريب النماذج المعقدة بشكل كبير. بالإضافة إلى ذلك، يُتيح الحوسبة الموزعة تطوير أنظمة متقدمة تتطلب موارد كبيرة، مثل النماذج اللغوية الكبيرة.

توفّر منصات خدمات السحابة (مثل AWS، وMicrosoft Azure، وGoogle Cloud، وIBM Cloud) مرونة في توسيع الموارد أو تقليصها، مما يجعلها متاحة للشركات بمختلف أحجامها. في الوقت نفسه، يُمكِّن الذكاء الاصطناعي الطرفي من اتخاذ قرارات في الوقت الحقيقي في البيئات النائية أو منخفضة النطاق الترددي. تتكامل طبقة الحوسبة بشكل وثيق مع أدوات التنسيق، مما يُحسِّن تخصيص الموارد ويساعد على ضمان كفاءة التكاليف.

التخزين

يجب أن تكون أنظمة التخزين المادية قادرة على معالجة كميات هائلة من البيانات المستخدمة خلال دورة حياة الذكاء الاصطناعي، بدءًا من البيانات غير المُنسَّقة وصولًا إلى أوزان النماذج وسجلات التشغيل. تتيح حلول التخزين عالية الإنتاجية الوصول السريع إلى البيانات، وهو أمر ضروري للمهام الحاسوبية المكثفة، مثل تدريب نماذج التعلم العميق.

القابلية للتوسع هي سمة رئيسية أخرى، حيث تدعم أنظمة الملفات الموزعة مثل HDFS أو أنظمة تخزين الكائنات (مثل Amazon S3) الاحتياجات المتزايدة للبيانات. غالبًا ما تعتمد هذه الأنظمة على استراتيجيات تخزين متدرجة، حيث يتم الاحتفاظ بالبيانات التي يتم الوصول إليها بشكل متكرر على وسائط عالية السرعة، بينما يتم أرشفة البيانات الأقل استخدامًا على حلول تخزين أبطأ وأكثر فعالية من حيث التكلفة.

تُعزِّز آليات النسخ الاحتياطي والاسترداد القوية مرونة البيانات من خلال دمج خيارات التخزين السحابي والمحلي لحمايتها من حالات الفشل المحتملة.

ربط الشبكات

يتطلب الذكاء الاصطناعي غالبًا نقل كميات كبيرة من البيانات من مكان إلى آخر بأقل قدر ممكن من زمن الانتقال. تعمل الشبكات على تكامل التخزين من خلال ربط عناصر البنية التحتية المختلفة، مما يُمكِّن من نقل البيانات بسلاسة وتعزيز التعاون.

تُعد هذه الطبقة جزءًا أساسيًا من مجموعة الذكاء الاصطناعي، حيث تركز على جمع البيانات وتخزينها وتحضيرها لنماذج الذكاء الاصطناعي. وتشمل قواعد البيانات، وبحيرات البيانات، ومستودعات البيانات. يستخدم علماء البيانات أدوات متنوعة لاستيعاب البيانات، وتنظيفها، ومعالجتها مسبقًا، وجميعها تُعد جزءًا من طبقة إدارة البيانات.

تُمكِّن البيانات عالية الجودة والمُعدَّة جيدًا النماذج من التعلم بفعالية، مما يضمن تنبؤات أكثر دقة وتحسين عملية اتخاذ القرار. وعلى العكس من ذلك، فإن البيانات منخفضة الجودة أو المتحيزة يمكن أن تؤثر سلبًا على دقة ونزاهة نماذج الذكاء الاصطناعي، مما يؤدي إلى تحقيق نتائج غير مثالية. من خلال الاستثمار في طبقة بيانات قوية، تُمهد المنظمات الطريق نحو تنفيذ ناجح لتقنيات الذكاء الاصطناعي.

استيعاب البيانات وتخزينها

يمكن استيعاب البيانات من مصادر متعددة، مثل قواعد البيانات المنظمة، والملفات النصية غير المنظمة، والصور، وأجهزة إنترنت الأشياء (IoT)، وواجهات برمجة التطبيقات (APIs)، وتفاعلات المستخدمين. يجب أن تكون البنية التحتية للتخزين قادرة على التعامل مع كميات كبيرة من البيانات المتنوعة مع الحفاظ على الموثوقية وسهولة الوصول.

تشمل التقنيات المستخدمة قواعد البيانات العلائقية (مثل MySQL وPostgreSQL)، وقواعد البيانات غير العلائقية (NoSQL) (مثل MongoDB وCassandra)، وبحيرات البيانات (مثل Hadoop) لمعالجة البيانات المنظمة وغير المنظمة.

يتضمن استيعاب البيانات استيرادها من مصادر متعددة إلى أنظمة التخزين. تعمل أدوات مثل Apache Kafka على أتمتة وإدارة مسارات استيعاب البيانات، مما يساعد على ضمان تدفق البيانات بسلاسة داخل النظام.

المعالجة المسبقة للبيانات

غالبًا ما تحتاج البيانات غير المُنسَّقة إلى تنظيف، وتطبيع، وتحويل قبل استخدامها في نماذج الذكاء الاصطناعي. يشمل ذلك إزالة البيانات المكررة، وملء القيم المفقودة، وتوحيد التنسيقات، وترميز المتغيرات الفئوية.

تحتوي لغة البرمجة Python على مكتبات مجانية لهذا الغرض، مثل Pandas وNumPy، كما تُستخدم أدوات أخرى مثل Apache Spark بشكل شائع في معالجة البيانات المسبقة.

وسم البيانات وتصنيفها

في التعلم الخاضع للإشراف، غالبًا ما تحتاج البيانات إلى أن تُصنَّف حتى يتمكن النموذج من التعلم. يتضمن ذلك وضع وسم الصور، وتصنيف النصوص، أو تحديد الميزات ذات الصلة. تساعد منصات مثل Labelbox وAmazon SageMaker Ground Truth، بالإضافة إلى أدوات مفتوحة المصدر مثل LabelImg، في تسهيل عمليات ترميز البيانات.

أمن البيانات والامتثال للوائح التنظيمية

يجب أن تلتزم عمليات تخزين البيانات ومعالجة البيانات بقوانين الخصوصية، مثل اللائحة العامة لحماية البيانات (GDPR) وقانون خصوصية المستهلك في كاليفورنيا (CCPA). تُستخدم تقنيات مثل التشفير، والتحكم في الوصول، وإخفاء الهوية لحماية البيانات الحساسة.

في هذه المرحلة، يتم تصميم نماذج الذكاء الاصطناعي، وتدريبها، وضبطها بدقة لمعالجة مشكلات محددة، مما يحدد الوظائف الأساسية والقدرات الذكية لنظام الذكاء الاصطناعي. تعتمد هذه العملية على طبقة البيانات، حيث يتم استخدام البيانات المُعالجة والمنظَّفة لتدريب الخوارزميات على تعلّم الأنماط، وإجراء التنبؤات، أو توليد المخرجات بفعالية.

تُنشئ هذه الطبقة أيضًا حلقة تعليقات مع طبقة البيانات، مما يُتيح إعادة تدريب النماذج وتحسينها عند توفر بيانات جديدة. تُعد هذه الطبقة محورية في دورة حياة الذكاء الاصطناعي، حيث تحدد مدى كفاءة أداء النظام في التطبيقات الواقعية.

أُطُر ومكتبات الذكاء الاصطناعي

تُسهِّل أُطر التعلم الآلي (ML) والتعلم العميق عملية إنشاء النماذج وتدريبها. تشمل الأدوات الشائعة TensorFlow، وPyTorch، وScikit-learn، وKeras، وXGBoost، حيث تُستخدم كل منها لأنواع مختلفة من مهام الذكاء الاصطناعي، مثل رؤية الكمبيوتر، أو معالجة اللغة الطبيعية (NLP)، أو تحليل البيانات الجدولية.

اختيار الخوارزمية

يُعد اختيار خوارزمية التعلم الآلي المناسبة أمرًا أساسيًا لتحقيق أداء مثالي. تتراوح الخوارزميات من الانحدار الخطي وأشجار القرار للمهام البسيطة إلى بُنى أكثر تعقيدًا مثل الشبكات العصبية ونماذج المحولات. يعتمد الاختيار على عدة عوامل، منها نوع البيانات، ومجال المشكلة، والقيود الحاسوبية.

تدريب النموذج

يتضمن تدريب النموذج إدخال بيانات مُصنفة حتى يتمكن من تعلُّم الأنماط والعلاقات. تتطلب هذه المرحلة موارد حسابية كبيرة، خاصة عند التعامل مع نماذج معقدة. يشمل مسار التدريب ضبط المعلمات الفائقة مثل معدل التعلم وحجم الدُفعة، إلى جانب تحسين النموذج تدريجيًا باستخدام تقنيات مثل الانحدار المتدرج.

هندسة الميزات وضبطها

تعمل هندسة الميزات على تحويل البيانات غير المُنسَّقة إلى إدخالات مفيدة للنموذج. قد تشمل هذه الخطوة تحجيم البيانات، وترميزها، وتقليل الأبعاد، أو إنشاء ميزات مشتقة جديدة.

النماذج المدربة مسبقًا والتعلم بالنقل

يُساعد استخدام النماذج المدربة مسبقًا، مثل BERT وResNet، في تقليل وقت التطوير وتكاليف الحوسبة بشكل كبير. يعمل التعلم بالنقل (Transfer Learning) على تكييف هذه النماذج لأداء مهام جديدة بأقل قدر من التدريب الإضافي.

التحقق والتحسين

بعد تطوير النماذج، غالبا ما تحتاج إلى التحسين والضبط الدقيق قبل النشر. قد تشمل هذه العملية ضبط المعلمات الفائقة وضغط النموذج والتحقق من النموذج.

قبل نشر النموذج، يتم تقييمه باستخدام مجموعات بيانات تحقق واختبار منفصلة لحساب مقاييس الأداء مثل الدقة، والإتقان، والاسترجاع، ودرجة F1. تساعد هذه الخطوة في ضمان قدرة النموذج على التعميم وأدائه بشكل موثوق على البيانات غير المرئية.

طبقة نشر النموذج هي المرحلة التي ينتقل فيها نموذج التعلم الآلي من التطوير إلى الاستخدام الفعلي، حيث يبدأ في تقديم التنبؤات أو الاستدلالات في البيئات التشغيلية الحية.

يتضمن نشر النموذج تعبئته في تنسيقات قابلة للنشر، غالبًا باستخدام تقنيات النقل بالحاويات، مما يُعزز الاتساق وسهولة النقل عبر بيئات مختلفة. يتم بعد ذلك إدارة هذه الحاويات وتوسيع نطاقها باستخدام منصات التنسيق، مما يتيح موازنة الأحمال، وتحمل الأعطال، وضمان التوفّر العالي.

يتم عادةً إتاحة النماذج المنشورة من خلال واجهات برمجة التطبيقات (APIs) أو الخدمات المصغرة باستخدام أطر عمل مثل TensorFlow Serving، وNVIDIA Triton، أو حلول مخصصة. يتيح ذلك تكاملًا سلسًا مع أنظمة الأعمال، وتطبيقات الهواتف المحمولة، أو المنصات الإلكترونية.

طبقة التطبيق هي المكان الذي يتم فيه دمج نماذج الذكاء الاصطناعي في الأنظمة الواقعية لتوفير رؤى قابلة للتنفيذ ودعم اتخاذ القرار، مما يجعلها أكثر طبقات مجموعة تقنيات الذكاء الاصطناعي تفاعلًا مع المستخدم. تعمل هذه الطبقة على إدراج قدرات الذكاء الاصطناعي في التطبيقات البرمجية والمنتجات والخدمات.

في هذه المرحلة، تصبح نماذج الذكاء الاصطناعي جزءًا من منطق الأعمال، حيث تعمل على أتمتة المهام، وتحسين مهام سير العمل، أو تمكين الميزات الذكية، مثل أنظمة التوصية، والتحليلات التنبؤية، ومعالجة اللغة الطبيعية، ورؤية الكمبيوتر. يتم الوصول إلى هذه القدرات عادةً عبر واجهات برمجة التطبيقات (APIs) أو دمجها في الخدمات المصغرة، مما يتيح تفاعلًا سلسًا مع العناصر الأخرى في النظام البنائي للتطبيق.

تركّز طبقة التطبيق بشكل أساسي على سهولة الاستخدام. يتم تغليف وظائف الذكاء الاصطناعي غالبًا بواجهات مستخدم بسيطة تعتمد على التصورات البيانية ووسائل عرض أخرى، مما يساعد على تقديم المعلومات بطريقة واضحة وقابلة للتفسير، وهذا يُمكّن المستخدمين من فهم الرؤى المستندة إلى الذكاء الاصطناعي والتصرف بناءً عليها.

على سبيل المثال، قد يقوم نموذج ذكاء اصطناعي للكشف عن الغش بتحديد المعاملات المشبوهة داخل منصة مالية وإنشاء إشعار تلقائي عبر الأتمتة، بينما تتفاعل تجربة المستخدم الخاصة بروبوت المحادثة مع المستخدمين في الوقت الحقيقي.

تُسهِّل طبقة القابلية للملاحظة عملية مراقبة، وتتبع، وتقييم مهام سير العمل في الذكاء الاصطناعي. توفر هذه الطبقة رؤية واضحة ورؤى معمقة لفهم أداء نماذج الذكاء الاصطناعي في البيئات الفعلية، مما يُمكِّن الفرق من تحديد المشكلات وحلها بسرعة، والحفاظ على استقرار النظام، وتحسين الأداء بمرور الوقت.

يوجد في صميم طبقة قابلية الملاحظة أدوات وأطر عمل تتتبع المقاييس المختلفة المتعلقة بكل من نماذج الذكاء الاصطناعي والبنية التحتية التي تعمل عليها.

تشكل طبقة الحوكمة الإطار العام الذي يساعد على ضمان نشر أنظمة الذكاء الاصطناعي واستخدامها وصيانتها بشكل مسؤول وأخلاقي وبما يتماشى مع المعايير التنظيمية والمجتمعية.

هذه الطبقة ضرورية لإدارة المخاطر وتعزيز الشفافية وبناء الثقة في تقنيات الذكاء الاصطناعي. فهي تشمل السياسات والعمليات للإشراف على دورة حياة نماذج الذكاء الاصطناعي بما يتماشى مع التشريعات القانونية والمبادئ الأخلاقية والأهداف التنظيمية.

تتمثل إحدى الوظائف الأساسية لطبقة الحوكمة في وضع سياسات لجمع البيانات واستخدامها، إلى جانب أطر الامتثال لضمان الالتزام بالتشريعات مثل اللائحة العامة لحماية البيانات (GDPR) أو قانون إخضاع التأمين الصحي لقابلية النقل والمساءلة (HIPPA) أو المبادئ التوجيهية الخاصة بالذكاء الاصطناعي بما في ذلك قانون الذكاء الاصطناعي في الاتحاد الأوروبي. تُحدد هذه الأطر كيفية جمع البيانات وتخزينها واستخدامها، مما يعزز الخصوصية والأمان.

بالإضافة إلى ذلك، تشمل الحوكمة وضع آليات للتدقيق وإمكانية التتبع، مما يمكّن المنظمات من تسجيل وتتبع قرارات الذكاء الاصطناعي، وتغييرات النماذج، واستخدام البيانات. يُعد ذلك أمرًا بالغ الأهمية لضمان المساءلة ومعالجة النزاعات أو الأخطاء..

تتناول طبقة الحوكمة أيضا قضايا الإنصاف والتحيز وقابلية التفسير في أنظمة الذكاء الاصطناعي. تشمل هذه العملية تطبيق أدوات وتقنيات لاكتشاف التحيزات في بيانات التدريب أو مخرجات النماذج والعمل على تخفيفها، مما يساعد على ضمان تشغيل أنظمة الذكاء الاصطناعي بشكل عادل عبر مختلف الفئات السكانية.

يُسهم تصوُّر الذكاء الاصطناعي كنظام طبقي في تعزيز القابلية للتوسع والمرونة والكفاءة. يتيح هذا النهج للفرق ترقية طبقات محددة للاستفادة من أحدث التطورات دون الحاجة إلى إعادة بناء النظام بالكامل، مما يُمكِّن من تحسينات تدريجية وتكييفات مستمرة مع تطور التقنيات واحتياجات الأعمال.

على سبيل المثال، يمكنك الانتقال من مزود سحابي إلى آخر ضمن طبقة البنية التحتية أو اعتماد إطار عمل جديد للتعلم الآلي في طبقة تطوير النماذج دون التأثير على التطبيق.

يُسهِّل هذا النهج الطبقي أيضًا مقارنة الأداء ومراقبة كل مرحلة من دورة حياة الذكاء الاصطناعي، مما يساعد على ضمان الأداء والامتثال والموثوقية في كل خطوة. يعمل نهج مجموعة الطبقات على تبسيط تعقيد الذكاء الاصطناعي، مما يجعله أكثر قابلية للتنفيذ والفهم للمنظمات بمختلف أحجامها.