ما Mistral AI؟

تأسست Mistral AI في أبريل 2023 على يد Arthur Mensch، الذي كان يعمل سابقًا في Google DeepMind، إلى جانب Guillaume Lample وTimothée Lacroix، اللذَين عمِلا سابقًا في Meta AI. المؤسسون المشاركون، الذين التقوا في الأصل أثناء دراستهم في مدرسة École Polytechnique بضواحي باريس، أطلقوا اسم شركتهم تيمنًا بالرياح الشمالية الغربية القوية التي تهب من جنوب فرنسا إلى البحر الأبيض المتوسط. من حيث التقييم، كانت الشركة الفرنسية أكبر شركة ناشئة في مجال الذكاء الاصطناعي في أوروبا والأكبر خارج منطقة خليج سان فرانسيسكو، اعتبارًا من يونيو 2024^.1

في DeepMind، كان Mensch أحد المؤلفين الرئيسيين للورقة الأساسية ، Training compute-optimal large language models". تناولت الورقة البحثية، ونموذج "Chinchilla" الذي قدَّمته، قوانين التحجيم للنماذج اللغوية الكبيرة وطرحت عدة اكتشافات مؤثِّرة جدًا تتعلق بالعلاقة بين حجم النموذج وبيانات التدريب والكفاءة والأداء في النماذج اللغوية ذاتية الانحدار. في Meta، كان كلٌّ من Lacroix وLample من بين الباحثين وراء نماذج LLaMa الأصلية.

أسفرت الخبرة المشتركة للمؤسسين في الكفاءة وتطوير النماذج اللغوية الكبيرة عن مجموعة من النماذج، معظمها مفتوح المصدر، والتي غالبًا ما تضاهي أداء النماذج اللغوية الكبيرة الأكبر حجمًا. من أبرز المساهمات المبكرة للشركة الأوروبية في تطوير الذكاء الاصطناعي التوليدي كانت الابتكارات في نماذج مزيج الخبراء (MoE). 

وتتمثل مهمتها المعلنة في "الالتزام القوي بالحلول المفتوحة والقابلة للنقل والتخصيص، مع تركيز شديد على تقديم أكثر التقنيات تقدمًا في وقت محدود".

تصنف Mistral AI عادةً نماذجها اللغوية الكبيرة إلى ثلاث فئات: نماذج "الأغراض العامة" والنماذج "المتخصصة، والنماذج "البحثية".

على الرغم من أن Mistral توفِّر العديد من نماذجها مع أوزان مفتوحة عبر معظم منصات التعلم الآلي الشائعة بموجب رخصة Apache 2.0، فإنها عادةً ما تضع بعض القيود على الاستخدام التجاري لأكثر نماذجها أداءً.

تستخدم Mistral نظام تسمية بسيطًا، وإن كان غير تقليدي، لطرازاتها. تشير أسماء بعض النماذج، مثل Mistral 7B أو Pixtral 12B، إلى عدد المَعلمات، بينما يَصِف البعض الآخر الحجم بشكل أكثر وضوحًا مثل "Mistral Large" أو "Mistral Small"، أو لا يشير إلى الحجم على الإطلاق. العديد منها، مثل "Mixtral" أو "Mathstral"، تعتمد على مزج اسم الشركة بطريقة مبتكرة.

تنعكس بعض تحديثات إصدار النموذج في أسماء النماذج الأساسية، بينما لا ينعكس البعض الآخر. على سبيل المثال ، تم إصدار Mistral Large وMistral Small لأول مرة في فبراير 2024. تم تحديث الأول في يوليو باسم "Mistral Large 2"، لكن الأخيرة ظلت "Mistral Small" بعد تحديث سبتمبر.
 

النماذج التي تصنفها Mistral AI ضمن فئة "الأغراض العامة" هي عادةً نماذج لغوية كبيرة تأخذ نصًا كمُدخل وتُنتج نصًا كمُخرج، وتقترب من الأداء المتقدم وفقًا لحجم النموذج أو تكلفته أو متطلبات الحوسبة. كما يوحي اسم الفئة، فإن هذه النماذج مناسبة تمامًا لحالات استخدام معالجة اللغة الطبيعية وتوليد النصوص.
 

يُعَد Mistral Large 2 النموذج اللغوي الكبير الرئيسي والأكبر لدى Mistral. عند إطلاقه في سبتمبر 2024، تجاوَز أداؤه المقاييس المعيارية الشائعة جميع النماذج المفتوحة (باستثناء النموذج الأكبر بكثير Meta Llama 3.1 405B) ونافس أداء العديد من النماذج المغلقة الرائدة.

بوجود 123 مليار مَعلمة، يحتل Mistral Large 2 موقعًا فريدًا في عالم النماذج اللغوية الكبيرة، فهو أكبر من أي نموذج "متوسط الحجم" ولكنه أصغر بكثير من منافسيه المباشرين. في إعلان إصدارها الرسمي، أشارت Mistral AI إلى أن النموذج تم تحديده بهدف تمكينه من العمل بإنتاجية كبيرة على عقدة واحدة.

وفقًا لشركة Mistral AI، يدعم نموذج Mistral Large 2 متعدد اللغات عشرات اللغات، بما في ذلك الإنجليزية والفرنسية والألمانية والإسبانية والإيطالية والبرتغالية والعربية والهندية والروسية والصينية واليابانية والكورية. كما أنه يتضمن دعمًا لأكثر من 80 لغة برمجة.

تم إصدار Mistral Large 2 بموجب رخصة Mistral Research، التي تسمح بالاستخدام والتعديل المفتوح فقط للأغراض غير التجارية. يتطلب النشر التجاري التواصل مباشرةً مع مزوِّد الذكاء الاصطناعي لطلب رخصة Mistral Commercial أو الوصول إليها عبر شركاء مختارين، مثل IBM watsonx.
 

أصدر Mistral Small لأول مرة في فبراير 2024 كنموذج للمؤسسات، ولكن تم تحويله إلى حالة "نموذج قديم" قبل أن يتم إصلاحه وعودته كنموذج "فئة المؤسسات" Mistral Small v24.09 في سبتمبر. على الرغم من اسمها، تقدم Mistral عدة موديلات أصغر من Mistral Small.

مع 22 مليار معلمة، تمثل Mistral Small نقطة منتصف فعالة من حيث التكلفة بين Mistral Larger وMistral NeMo 12B الأصغر. مثل Mistral Large 2، يتم تقديم Mistral Small 24.09 بموجب ترخيص Mistral Research.
 

تم بناء Mistral NeMo بالتعاون مع NVIDIA. بوجود 12 مليار مَعلمة، يُعَد من أكثر النماذج أداءً في فئة حجمه، مع دعم متعدد اللغات للغات الرومانسية، والصينية، واليابانية، والكورية، والهندية، والعربية. من بين نماذج Mistral للأغراض العامة، Mistral NeMo هو LLM الوحيد الذي تم إصداره كمصدر مفتوح بموجب ترخيص Apache 2.0.

على عكس النماذج ذات الأغراض العامة، يتم تدريب نماذج Mistral AI "المتخصصة" على مهام ومجالات محددة، بدلًا من التطبيقات العامة للنصوص الواردة والصادرة.

جدير بالذكر، مع ذلك، أن هذا التصنيف ليس صارمًا: تصنّف Mistral AI بعض النماذج المتخصصة الإضافية، مثل Mathstral، ضمن فئة "النماذج البحثية" بدلًا من "النماذج المتخصصة". ويستند التمييز في المقام الأول على حقوق الاستخدام المتاحة: قد تكون للنماذج المتخصصة قيود معينة على بيئات النشر أو الاستخدام التجاري، في حين أن النماذج البحثية لا تفرض قيودًا على ذلك.
 

يُعَد Codestral نموذجًا مفتوح الأوزان بحجم 22 مليار مَعلمة متخصصة في مهام توليد الأكواد، ويتقن أكثر من 80 لغة برمجة، بما في ذلك Python وJava وC و++C وJavaScript وBash وSwift وFortran. تم إصداره بموجب رخصة Mistral AI غير الإنتاجية ، ما يسمح باستخدامه لأغراض البحث والاختبار. يمكن منح التراخيص التجارية عند الطلب من خلال الاتصال بـ Mistral مباشرةً.
 

يُعَد Mistral Embed نموذج تضمين تم تدريبه على توليد تضمينات الكلمات. في الوقت الحاضر، يدعم اللغة الإنجليزية فقط.
 

يُعَد Pixtral 12B نموذجًا متعدد الوسائط مفتوح المصدر، يتم تقديمه ضمن بموجب ترخيص Apache 2.0، وهو قادر على التعامل مع مهام النصوص كنصوص إدخال وإخراج، وكذلك الصور كنصوص إخراج. يجمع هيكل Pixtral 12B بين وحدة فك ترميز متعددة الوسائط بحجم 12 مليار مَعلمة مبنية على Mistral NeMo ووحدة تشفير بصرية تحتوي على 400 مليون مَعلمة تم تدريبها من الصفر على بيانات الصور. يمكن استخدام Pixtral في واجهات المحادثة بنفس طريقة التفاعل مع النماذج اللغوية الكبيرة النصية فقط، مع الميزة الإضافية لإمكانية رفع الصور وطلب الإجابة عن الأسئلة المتعلقة بها.

بالمقارنة مع النماذج متعددة الوسائط ذات الحجم المماثل، سواءً أكانت مملوكة أم مفتوحة المصدر، حقق Pixtral نتائج تنافسية للغاية في معظم المعايير متعددة الوسائط. على سبيل المثال، تفوَّق نموذج Pixtral على نماذج Claude 3 Haiku من Anthropic، وGemini 1.5 Flash 8B من Google، وPhi 3.5 Vision من Microsoft في الاختبارات المعيارية التي تقيس حل المشكلات على مستوى الكليات (MMMU)، والتفكير الرياضي البصري (MathVista)، وفهم الرسوم البيانية (ChartQA)، وفهم المستندات (DocQA)، والإجابة عن الأسئلة البصرية العامة (VQAv2).²
 

يتم تقديم النماذج البحثية من Mistral كنماذج مفتوحة المصدر بالكامل، دون أي قيود على الاستخدام التجاري أو بيئات النشر أو القدرة على التخصيص.
 

تُعَد Mixtral مجموعة من النماذج القائمة على وحدة فك التشفير فقط من نوع مزيج الخبراء (MoE). على عكس الشبكات العصبية التقليدية المتقدمة ذات التغذية الأمامية، التي تستخدم الشبكة بالكامل لكل استدلال، يتم تقسيم نماذج MoE إلى مجموعات منفصلة من المَعلمات تُسمَّى الخبراء. لكل رمز مميز، تختار شبكة التوجيه عددًا معينًا فقط من الخبراء في كل طبقة لمعالجة المدخلات.

أثناء التدريب، تمكِّن هذه البنية كل شبكة خبراء من التخصص في معالجة أنواع معينة من المدخلات. أثناء الاستدلال، يستخدم النموذج جزءًا فقط من إجمالي المعلمات المتاحة -تحديدًا المَعلمات في شبكات الخبراء الأنسب للمهمة المحددة- لكل مدخل. وبذلك، تقلل بنية MoE بشكل كبير من تكلفة الاستدلال وزمن الانتقال دون حدوث انخفاض مماثل في الأداء.

يتم تقديم Mixtral في نسختين، كل منهما مقسَّمة إلى 8 شبكات خبراء: Mixtral 8x7B وMixtral 8x22B. يُعَد النموذج السابق من بين نماذج الأساس المتوفرة في IBM watsonx.

يُعَد Mathstral نسخة من Mistral 7B -الذي أصبح الآن في فئة "النماذج القديمة"- محسَّنًا لحل المسائل الرياضية، ومتوفرًا تحت رخصة Apache 2.0.

بينما يستخدم نموذج Codestral الأصلي بنية المحوِّل القياسية الشائعة في معظم النماذج اللغوية الكبيرة، يستخدم Codestral Mamba بنية mamba المميزة. لا تزال الأبحاث حول نماذج Mamba في مراحلها المبكرة -فقد تم تقديم Mamba لأول مرة في ورقة بحثية عام 2023- لكن هذه البنية الجديدة توفِّر ميزة نظرية كبيرة من حيث السرعة وطول السياق.

يُعَد Le Chat خدمة المحادثة الآلية الخاصة بـ Mistral، مشابهة لـ ChatGPT من OpenAI، وتم إصدار النسخة التجريبية منها لأول مرة في 26 فبراير 2024. إلى جانب Mistral Large وMistral Small، أضافت Mistral مؤخرًا النموذج متعدد الوسائط Pixtral 12B إلى قائمة النماذج اللغوية الكبيرة المتاحة في Le Chat.

تُعَد La Plateforme منصة Mistral لتطوير ونشر النماذج عبر واجهات برمجة التطبيقات، حيث توفِّر نقاط نهاية API ونظامًا بيئيًا للتجريب، والتخصيص على مجموعات بيانات مخصصة، والتقييم، والنمذجة الأولية باستخدام نماذج Mistral.