الذكاء الاصطناعي الجدير بالثقة: مبررات الانفتاح في نمذجة اللغة

افتتح إصدار ChatGPT قبل عامين فصلاً جديدًا في الذكاء الاصطناعي، مدفوعًا بنماذج لغوية كبيرة ذات حجم وتعقيد غير مسبوقين. تُعد هذه النماذج الآن قوة رائدة في البحث والأعمال، ولكن العديد منها لا تنشر بياناتها أو وصفة التداول الكاملة أو نقاط التحقق الخاصة بها. وهنا يأتي دور المنظمة غير الربحية معهد Allen للذكاء الاصطناعي (Ai2). بدأ معهد Ai2 في مزاولة نشاطه عام 2014، على يد Paul Allen، المؤسس المشارك لشركة Microsoft. تعمل مجموعة البحث على نماذج لوعية، ونماذج متعددة الوسائط، وأطر تقييم في مصدر مفتوح.

مؤخرا، قام معهد Ai2 بإطلاق Molmo، وهي مجموعة من نماذج الذكاء الاصطناعي متعددة الوسائط المتطورة التي تهدف إلى تقليص الفجوة بشكل كبير بين الأنظمة المفتوحة والأنظمة الخاصة. يقول Ai2: "حتى نماذجنا الأصغر حجمًا تتفوق على منافسيها في الأداء بعشرة أضعاف".

وفي وقت سابق من سبتمبر، أطلقت Ai2 نموذج OlmoE، وهو نموذج مزيج الخبراء يضم مليار مَعلمة نشطة و7 مليارات مَعلمة إجمالية، تم تطويره بالتزامن مع الذكاء الاصطناعي السياقي. تم تدريبه على 5 تريليونات رمز مميز وبُني على مزيج جديد من البيانات يتضمن دروسًا من Dolma الصادر عن Ai2.

تحدثنا مع Hanna Hajishirzi، المديرة العليا لأبحاث اللغة الطبيعية في Ai2، بعد أن ألقت كلمتها الرئيسية في مؤتمر PyTorch في سان فرانسيسكو لمناقشة المصدر المفتوح والإلمام بالذكاء الاصطناعي.

لقد أجرينا إصدارًا بسيطًا من نموذج OLMoE في سبتمبر. وعلى الرغم من كونه نموذجًا صغيرًا، إلا أنه يؤدي جيدًا في العديد من المهام. ومنذ ذلك الحين، شهدنا حفاوة كبيرة من المجتمع. كما أنشأنا تطبيقًا يشغل نموذج اللغة مباشرة على الهواتف الذكية دون الاتصال بوحدة معالجة الرسومات. ولا يزال العمل جاريًا، إذ نعمل على ميزات الأمان وتحسين واجهة المستخدم (UI)، لكن الأمر مثير. نحن نعمل أيضًا على تدريب نماذج أكبر.

ليس من المستغرب أن تؤدي نماذج مزيج الخبراء أداءً جيدًا، إذ لاحظنا بالفعل استخدامها ضمن النماذج الرائدة. ميزة مزيج الخبراء هي أنه مع نفس الجهد التدريبي، تحصل على دقة أعلى مقارنة بالنماذج الكثيفة. ما كان مثيراً للاهتمام بالنسبة لنا هو أن نأخذ هذا الأمر إلى أقصى الحدود ونقوم بتدريب أصغر نموذج يمكننا تدريبه، مثل نموذج بمليار مَعلمة لنرى ما سيحدث. لقد كنا متحمسين للنتائج.

إذن كيف وصلنا إلى هناك؟ أولاً، نقوم بتحسين مسارات التدريب لدينا. لقد بدأنا ببنية نموذج مكثفة، وأجرينا العديد من التجارب التي نجحت في توسيع نطاقه ليشمل نماذج مزيج الخبراء. ثانيًا، لقد أجرينا تحسينات على مزيج البيانات لدينا، ما أدى إلى تطوير نموذج أفضل. لقد أعطانا هذان الأمران معًا أفضل النتائج.

هناك نطاق واسع من الانفتاح في مجتمع الذكاء الاصطناعي. على سبيل المثال، فتحت نماذج مثل ChatGPT من شركة OpenAI واجهات برمجة التطبيقات الخاصة بها، ولكن من يدري ما يحدث خلف الأبواب المغلقة؟

يبدو كل ذلك متكلفا جدا، لكن هذا النقص في الشفافية هو عكس تعزيز الإلمام بالذكاء الاصطناعي. ليس لدى الجمهور فهم حقيقي لماذا تتصرف هذه النماذج بالطريقة التي تتصرف بها. يبدو الأمر برمته وكأنه سحر حيث يبدو أن هذه النماذج تتحسن. 

يحتاج مجتمع الذكاء الاصطناعي إلى البدء في إصدار مزيد من المعلومات حول النماذج غير الشفافة وشرح سبب إعطائها إجابات معينة. على سبيل المثال، يمكنه توضيح أن النموذج يستجيب بطريقة معينة لأنه يواجه أنماطًا محددة في بيانات التدريب الخاصة به. 

إن تثقيف الجمهور حول هذا الأمر يعد ضروريًا. على الرغم من صعوبة ربط قرارات محددة بنقاط البيانات بطريقة يسهل على الجمهور فهمها، فإن إنشاء عروض توضيحية تعرض هذه العملية سيكون مؤثرًا حقًا.

بالضبط! وهذا هو أحد أهم محاور التركيز في مشروعنا: نهدف إلى إصدار كل من بيانات ترجيح النماذج وبيانات تدريبها.

يعمل الباحثون في المجتمع على الربط بين قرارات النموذج والبيانات، وذلك باستخدام نماذجنا OLMo و OLMoE. مكنت مجموعة بياناتنا المفتوحة، Dolma، الباحثين من تحليلها، مما أدى إلى إصدار منشورات تشرح كيفية مساهمة نقاط بيانات محددة في سلوك النموذج. ومن شأن هذه الشفافية أن تساعد أيضًا في إعلام الجمهور.

يمكنني معالجة هذا الأمر من ناحيتين. أولاً، عندما بدأنا هذا المشروع، شككنا في صحة الأرقام التي قالتها بعض الشركات. أردنا التأكد من أن هذه الأرقام ليست مستمدة من مجموعات اختبار أو معايير انتقائية. وهذا يسلط الضوء على مستوى الثقة داخل مجتمع البحث.

بالنسبة إلى نموذجنا، يعد الأمر واضحًا ومباشرًا، لأننا نوفر إمكانية الوصول إلى بياناتنا ونوضح كيفية تقييم نماذجنا. توضح هذه الشفافية ما هو موجود في البيانات وكيفية تدريب النماذج. ونطلق أيضًا نقاط مراقبة مختلفة، وهي مراحل وسيطة من التدريب. يمكن للباحثين استخدام نقاط التفتيش هذه لمراقبة كيفية تطور المعرفة والتحسينات بمرور الوقت. ويستفيد بعض الباحثين بالفعل من نقاط التفتيش لدينا لدراسة هذا التطور. 

وأخيرًا، من حيث ثقة الجمهور، يُطبق نهج مماثل. يعتقد الكثيرون أن النماذج اللغوية مجرد هلوسة. من خلال ربط مخرجاتها ببيانات التدريب وشرح عمليات صناعة القرار، يمكننا تعزيز الجدارة بالثقة. على الرغم من أننا لم نصل إلى هناك بعد، إلا أن تحسين الشفافية بشأن بيانات التدريب لدينا يوفر فرصًا كبيرة لبناء ثقة الجمهور.

أعتقد أن الذكاء الاصطناعي مفتوح المصدر ضروري لتمكين وتسريع علم النماذج اللغوية. لقد أحرزنا تقدما كبيرا في البحث والتطوير في النماذج اللغوية بفضل البحث العلمي المفتوح، ويجب أن نستمر في بذل الجهود للحفاظ على نشاط الذكاء الاصطناعي مصدر مفتوح.