IBM Granite 3.1: أداء فائق وسياق أطول ونماذج تضمين جديدة وميزات أخرى كثيرة

إليك المعلومات الرئيسية بإيجاز:
 

• .
• يقدم Granite 3.1 8B Instruct تحسينات كبيرة في الأداء مقارنةً بالنسخة Granite 3.0 8B Instruct. أصبح متوسط درجاته عبر معايير قائمة المصدرين Hugging Face OpenLLM Leaderboard من بين أعلى الدرجات لأي نموذج مفتوح المصدر في فئته من حيث الحجم.
• لقد وسعنا نطاق سياق مجموعة النماذج اللغوية Granite 3 بالكامل. وتتميز أحدث نماذجنا المتكاملة (Granite 3.1 8B، وGranite 3.1 2B) ونماذج MoE (Granite 3.1 3B-A800M، وGranite 3.1 1B-A400M) ونماذج الحماية (Granite Guardian 3.1 8B، وGranite Guardian 3.1 2B) جميعها بطول سياق يبلغ 128 ألف رمز مميز.
• نصدر مجموعة من نماذج التضمين الجديدة كليًا. تُقدم نماذج Granite Embedding الجديدة المحسّنة للاسترجاع بأربعة أحجام، تتراوح بين 300 مليون و278 مليون معلمة. ومثل نظيراتها التوليدية، فإنها تدعم لغات متعددة عبر 12 لغة مختلفة: الإنجليزية والألمانية والإسبانية والفرنسية واليابانية والبرتغالية والعربية والتشيكية والإيطالية والكورية والهولندية والصينية.
  
• . يتميز نموذجا
• Granite Guardian 3.1 8B و2B بقدرة جديدة على الكشف عن الهلوسة في استدعاء الوظائف، مما يحسّن التحكم في الوكلاء الذين يستدعون الأدوات ومراقبتهم.
• كل من نماذج Granite 3.1 وGranite Guardian 3.1 وGranite Embedding مفتوحة المصدر بموجب ترخيص Apache 2.0.
• تأتي هذه الإصدارات الأحدث في سلسلة Granite عقب إطلاق IBM مؤخرًا لإطار عمل Docling (إطار عمل مفتوح المصدر لإعداد المستندات لتطبيقات استرجاع المعلومات المعزز وتطبيقات الذكاء الاصطناعي التوليدي الأخرى) وإطار عمل Bee (إطار عمل مفتوح المصدر مستقل عن النموذج للذكاء الاصطناعي المستند إلى الوكلاء)
• تتوفر الآن Granite TTM (TinyTimeMixers)، وهي سلسلة من نماذج السلاسل الزمنية المدمجة وعالية الأداء من IBM، في watsonx.ai من خلال الإصدار التجريبي لواجهة برمجة تطبيقات watsonx.ai Timeseries Forecasting وSDK.
• تتوفر الآن
• نماذج Granite 3.1 في IBM watsonx.ai، وكذلك من خلال شركاء المنصة بما في ذلك (حسب الترتيب الأبجدي) Docker، وHugging Face، وLM Studio، وOllama Replicate.
• سيستفيد شركاء المؤسسات أيضًا من نماذج Granite 3.1 في منصاتهم وأدواتهم: حيث تدمج Samsung نماذج مختارة من Granite في منصتها SDS؛ وتدمج Lockheed Martin نماذج Granite 3.1 في أدوات AI Factory الخاصة بها التي يستخدمها أكثر من 10000 مطور ومهندس.

يصادف اليوم إصدار IBM granite 3.1، وهو آخر تحديث لسلسلة Granite من النماذج اللغوية مفتوحة المصدر وعالية الأداء والمحسّنة للمؤسسات. تركز هذه المجموعة من التحسينات والإضافات والقدرات الجديدة بشكل أساسي على زيادة الأداء والدقة والمساءلة في حالات الاستخدام الأساسية للمؤسسات، مثل استخدام الأدوات، واسترجاع المعلومات المعزّز (RAG) ومهام سير عمل الذكاء الاصطناعي القائم على الوكلاء القابل للتوسع.

يعتمد Granite 3.1 على الزخم الناتج عن مجموعة Granite 3.0 التي أُطلقت مؤخرًا. ستواصل IBM إصدار نماذج ووظائف محدثة لسلسلة Granite 3 في الأشهر القادمة، مع تخطيط لإطلاق قدرات جديدة متعدّدة الوسائط من المقرر إصدارها في الربع الأول من عام 2025.

لا تُعد نماذج Granite الجديدة هذه هي الإسهامات الوحيدة البارزة التي قدمتها IBM مؤخرًا في مجال نظام النماذج اللغوية الكبيرة (LLM) البنائية مفتوحة المصدر. فإصدار اليوم يتوّج سلسلة حديثة من الإصدارات المبتكرة مفتوحة المصدر، بدءًا من إطار عمل مرن لتطوير وكلاء الذكاء الاصطناعي إلى مجموعة أدوات سهلة الاستخدام لاستخراج المعلومات الأساسية المخزنة في ملفات PDF ومجموعات الشرائح وغيرها من تنسيقات الملفات التي يصعب على النماذج تحليلها. يوفر استخدام هذه الأدوات والأُطر جنبًا إلى جنب مع نماذج Granite 3.1 للمطورين قدرات متطوّرة لاسترجاع المعلومات المعزّز (RAG) ووكلاء الذكاء الاصطناعي وغيرها من مهام سير العمل القائمة على النماذج اللغوية الكبيرة.

كما هو الحال دائمًا، ينعكس التزام IBM التاريخي بالمصدر المفتوح في التراخيص مفتوحة المصدر القياسية والمتساهلة لكل عرض نوقش في هذه المقالة.

تتجلَّى جهود IBM في التحسين المستمر لسلسلة Granite بشكل أكثر وضوحًا في نموّ نموذجها الرئيسي 8B المتكامل. ويتفوق الآن نموذج IBM Granite 3.1 8B Instruct على معظم النماذج المفتوحة في فئته من حيث متوسط الدرجات في تقييمات المعايير الأكاديمية الواردة في قائمة المتصدرين Hugging Face OpenLLM Leaderboard.

استمر تطور سلسلة نماذج Granite في إعطاء الأولوية للتميز والكفاءة في حالات الاستخدام المؤسسية، بما في ذلك الذكاء الاصطناعي القائم على الوكلاء. ويتجلى هذا التقدم أكثر ما يتجلى في الأداء المحسّن بشكل ملحوظ للنموذج الأحدث 8B على IFEval، وهي مجموعة بيانات تتضمن مهام تختبر قدرة النموذج على اتباع تعليمات تفصيلية واستدلال البرامج المرن متعدد الخطوات (MuSR)الذي تقيس مهامه الخاصة بالاستدلال والفهم على النصوص الطويلة.

إن ما يعزز قفزة الأداء من Granite 3.0 إلى Granite 3.1 هو توسيع نطاق سياق جميع النماذج. يتساوى طول سياق الرموز البالغ 128 ألف رمز في نموذج Granite 3.1 مع طول سياق النماذج المفتوحة الأخرى، بما في ذلك Llama 3.1-3.3 وQwen2.5.

نطاق السياق (أو طول السياق) للنموذج اللغوي الكبير (LLM) هو مقدار النص، محسوبًا بالرموز، الذي يمكن للنموذج اللغوي الكبير معالجته في وقت واحد. يُمكّن نطاق السياق الأكبر النموذج من معالجة مدخلات أكبر، وإجراء تبادلات مستمرة أطول، ودمج المزيد من المعلومات في كل مخرج. لا يتضمن الترميز أي "معدل تبادل" ثابت لتحويل الرموز إلى كلمات، ولكن تقدير متوسط 1.5 رمز لكل كلمة هو تقدير عملي. 128 ألف رمز تعادل تقريبًا كتابًا من 300 صفحة.

يتيح تجاوز عتبة المائة ألف (100) ألف رمز ظهور إمكانات جديدة رائعة، تشمل الإجابة عن الأسئلة من مستندات متعدّدة، وفهم الأكواد على مستوى المستودع، والتفكير الذاتي، والوكلاء المستقلين المدعومين بالنماذج اللغوية الكبيرة.¹ ومن ثَمَّ فإن طول السياق الموسع لنموذج Granite 3.1 يفسح المجال لمجموعة أوسع بكثير من حالات الاستخدام المؤسسية، بدءًا من معالجة قواعد الأكواد البرمجية والمستندات القانونية الطويلة بأكملها إلى مراجعة آلاف المعاملات المالية في وقت واحد.

Granite Guardian 3.1 8B وGranite Guardian 3.1 2B الآن اكتشاف الهلوسات التي قد تحدث في مهام سير العمل القائمة على الوكلاء، ما يوفر نفس مستوى المساءلة والثقة في استدعاء الوظائف التي نوفرها بالفعل لاسترجاع المعلومات المعزّز.

تحدث العديد من الخطوات والعمليات الفرعية بين الطلب الأولي المرسل إلى وكيل الذكاء الاصطناعي والمخرجات التي يعيدها الوكيل في النهاية إلى المستخدم. ولمراقبة العملية برمّتها، تراقب نماذج Granite Guardian 3.1 كل استدعاء دالة للكشف عن حالات الهلوسة النحوية والدلالية.

على سبيل المثال، إذا كان وكيل ذكاء اصطناعي يفترض أنه يستعلم عن مصدر معلومات خارجي، فإن Granite Guardian 3.1 يراقب تدفق المعلومات المزيفة. وإذا كان سير العمل القائم على الوكلاء يستلزم إجراء عمليات حسابية وسيطة باستخدام أرقام مسترجعة من سجل مصرفي، فسيتحقق Granite Guardian 3.1 من إجراء الوكيل لاستدعاء الدالة الصحيحة مع الأرقام المناسبة.

يمثّل إصدار اليوم خطوة أخرى نحو تعزيز المساءلة والثقة لأي مكوّن من مكونات سير عمل المؤسسات القائم على النماذج اللغوية الكبيرة. تتوفر نماذج Granite Guardian 3.1 الجديدة حاليًا على Hugging Face. كما أنها ستكون متاحة من خلال Ollama في وقت لاحق من هذا الشهر وعلى IBM watsonx.ai في يناير 2025.

تُعد نماذج التضمين جزءًا لا يتجزأ من نظام النماذج اللغوية الكبيرة البنائي. وتُعد الوسيلة الدقيقة والفعالة لتمثيل الكلمات والاستعلامات والمستندات في شكل رقمي أمرًا ضروريًا لمجموعة من المهام المؤسسية مثل البحث الدلالي والبحث المُتَّجهي واسترجاع المعلومات المعزّز، بالإضافة إلى الحفاظ على قواعد بيانات متجهة فعالة. يمكن لنموذج التضمين الفعال أن يعزز بشكل كبير من فهم النظام لنوايا المستخدم ويزيد من أهمية المعلومات والمصادر استجابةً للاستعلام.

بينما شهد العامان الماضيان انتشارًا متزايدًا للنماذج اللغوية الكبيرة ذاتية الانحدار مفتوحة المصدر وذات القدرة التنافسية في مهام مثل توليد النصوص والتلخيص، فإن إصدارات نماذج التضمين مفتوحة المصدر من المزودين الرئيسيين تعدّ قليلة نسبيًا.

تمثل نماذج Granite Embedding الجديدة تطورًا محسّنًا لمجموعة Slate من النماذج اللغوية القائمة على RoBERTA المُخصَّصة للتشفير فقط. تُقدم نماذج Granite Embedding، المدربة بالقدر نفسه من العناية والمراعاة لتصفية التحيز والكراهية والإساءة والألفاظ النابية ("HAP") مثل بقية سلسلة Granite، بأربعة أحجام للنماذج، اثنان منها يدعمان التضمين متعدد اللغات عبر 12 لغة طبيعية:

• .
• Granite-Embedding-30M-English
• Granite-Embedding-125M-English
• Granite-Embedding-107M-Multilingual
• Granite-Embedding-278M-Multilingual

بينما تعتمد الغالبية العظمى من نماذج التضمين مفتوحة المصدر في قائمة المتصدرين Hugging Face MTEB leaderboard على مجموعات بيانات التدريب المرخصة لأغراض البحث فقط، مثل MS-MARCO، تحققت IBM من الأهلية التجارية لجميع مصادر البيانات المستخدمة لتدريب Granite Embedding. وتأكيدًا على الحرص على دعم الاستخدام المؤسسي، تدعم IBM نموذج Granite Embedding بالقدر نفسه من التعويض غير المحدود لمطالبات الملكية الفكرية من أطراف ثالثة المقدمة لاستخدام النماذج الأخرى التي طوَّرتها IBM.

لم يمنع اجتهاد IBM في تنسيق بيانات التدريب وتصفيتها نماذج Granite Embedding الإنجليزية من مواكبة نماذج التضمين مفتوحة المصدر البارزة ذات الحجم المماثل في تقييمات الأداء الداخلية التي أجريت باستخدام إطار تقييم BEIR.

أظهرت اختبارات IBM أيضًا أن نموذجين من نماذج التضمين الجديدة، وهما Granite-Embedding-30M-English وGranite-Embedding-107M-Mulilingual، يتجاوزان بشكل كبير العروض المنافسة من حيث سرعة الاستدلال.

يبدأ هذا الإطلاق خارطة طريق طموحة لشركة IBM Research لمواصلة الابتكار مع مجموعة نماذج Granite Embedding مفتوحة المصدر. وتشمل التحديثات والتطويرات المخطط لها لعام 2025 توسيع السياق وتحسين قدرات استرجاع المعلومات المعزز والاسترجاع متعدد الوسائط.

إلى جانب التطور المستمر لسلسلة Granite، تواصل IBM التزامها الراسخ بالذكاء الاصطناعي مفتوح المصدر من خلال التطوير الأخير والإصدار مفتوح المصدر للأدوات والأطر الجديدة المبتكرة للبناء باستخدام نماذج لغوية كبيرة. تساعد هذه الموارد التي صممتها IBM، والمحسّنة لنماذج Granite ولكنها مفتوحة المصدر بطبيعتها ومستقلة عن النماذج، المطوّرين على تسخير الإمكانات الكاملة للنماذج اللغوية الكبيرة، بدءًا من تسهيل عمليات الضبط الدقيق إلى تنظيم مصادر استرجاع المعلومات المعزّز وتجميع وكلاء الذكاء الاصطناعي المستقلين.

من الكتابة الإبداعية إلى استرجاع المعلومات المعزّز، يعتبر الذكاء الاصطناعي التوليدي في نهاية المطاف محركًا يعمل بالبيانات. لا يمكن تحقيق الإمكانات الحقيقية للنماذج اللغوية الكبيرة إذا كانت بعض تلك البيانات محصورة في تنسيقات لا تستطيع النماذج التعرف عليها. تُعد النماذج اللغوية الكبيرة حديثة إلى حد ما، ولكن المشكلة ليست كذلك: فكما جاء في عنوان صحيفة Washington Post منذ عقد من الزمن، "the solutions to all our problems may be buried in PDFs that nobody reads".

لهذا السبب طور IBM Deep Search أداة Docling، وهي أداة قوية لتحليل المستندات بتنسيقات شائعة مثل PDF وDOCX والصور وPPTX وXLSX وHTML وAsciiDoc وتحويلها إلى تنسيقات ملائمة للنماذج مثل Markdown أو JSON. يتيح ذلك سهولة الوصول إلى تلك المستندات - والمعلومات الموجودة فيها - عن طريق نماذج مثل Granite لأغراض استرجاع المعلومات المعزّز وغيرها من مهام سير العمل. يتيح Docling التكامل بسهولة مع أطر العمل القائمة على الوكلاء مثل LlamaIndex وLangChain وBee، ما يتيح للمطورين دمج مساعدته في النظام البنائي الذي يختارونه.

وفقًا لترخيص MIT المتساهل، تعد أداة Docling، مفتوحة المصدر حلاً متطورًا يتجاوز مجرد التعرف البصري على الحروف (OCR) واستخراج النصوص. وكما يوضح William Caban من Red Hat، فإن أداة Docling تدمج عددًا من تقنيات المعالجة المسبقة القائمة على السياق والعناصر: إذا كان الجدول يمتد على عدة صفحات، فإن Docling تعرف كيفية استخراجه في صورة جدول واحد؛ وإذا كانت صفحة معينة تخلط بين النص الأساسي والصور والجداول، فيجب استخراج كل منها على حِدةٍ وفقًا لسياقها الأصلي.

يعمل فريق تطوير Docling بنشاط على ميزات إضافية، بما في ذلك استخراج المعادلات والأكواد واستخراج البيانات الوصفية. للاطلاع على Docling في أثناء تنفيذ المهام، راجع هذا البرنامج التعليمي لبناء نظام للإجابة على أسئلة المستندات باستخدام Docling وGranite.

Bee Agent Framework هو إطار عمل مفتوح المصدر لبناء مهام سير عمل قوية للذكاء الاصطناعي القائم إلى الوكلاء باستخدام نماذج لغوية كبيرة مفتوحة المصدر، وهو مُحسن للاستخدام مع نماذج Granite وLlama (مع وجود المزيد من التحسينات الخاصة بالنماذج قيد التطوير بالفعل). ويتضمن مجموعة من الوحدات التي تسمح للمطورين بتخصيص أي مكون من مكونات وكيل الذكاء الاصطناعي تقريبًا، بدءًا من معالجة الذاكرة إلى استخدام الأدوات ومعالجة الأخطاء، بالإضافة إلى ميزات المراقبة المتعددة التي توفر الرؤى والمساءلة اللازمة لنشر الإنتاج.

يتكامل إطار العمل بسلاسة مع نماذج متعددة ومجموعة من الأدوات القوية الجاهزة للاستخدام مثل خدمات الطقس والبحث على الإنترنت (أو أدوات مخصصة مكتوبة بلغة Javascript أو Python). تتيح وظائف استخدام الأدوات المرنة في Bee مهام سير عمل مصممة خصيصًا لتلائم ظروفك الخاصة، على النحو الموضح في هذا المثال الإرشادي باستخدام Granite وWikipedia التي تستفيد من الأدوات المدمجة لاستخدام نطاق سياق محدود بشكل أكثر فعالية.

يمكن تشغيل وكلاء Granite Bee محليًا باستخدام Ollama أو الاستفادة من الاستدلال المستضاف باستخدام watsonx.ai.

تم إصدار نماذج السلاسل الزمنية TinyTimeMixer (TTM) من Granite في وقت سابق من هذا العام، وهي عبارة عن مجموعة من النماذج خفيفة الوزن مدربة مسبقًا وتعتمد على بنية جديدة. من خلال معالجة التنبؤات بدون أمثلة أو بأمثلة قليلة لأي شيء بدءًا من بيانات مستشعرات إنترنت الأشياء إلى أسعار سوق الأسهم والطلب على الطاقة، تتفوق نماذج Granite Timeseries على العديد من النماذج التي تبلغ 10 أضعاف حجمها، بما في ذلك TimesFM وMuirai وChronos.². ومنذ 30 مايو، تم تنزيل نماذج Granite-timeseries-TTM أكثر من 3.25 مليون مرة على موقع Hugging Face وحده.

في نوفمبر، أعلنت IBM عن الإطلاق التجريبي لواجهة برمجة تطبيقات watsonx.ai Timeseries Forecasting وSDK، ما يجعل نماذج السلاسل الزمنية Granite متاحة على منصة الذكاء الاصطناعي المتكاملة من IBM لتطوير تطبيقات الذكاء الاصطناعي الشاملة.

لمزيد من المعلومات حول البدء في استخدام Granite-TTM، اطّلع على الأمثلة الإرشادية الموجودة في دليل IBM Granite Timeseries، مثل هذا الدليل لاستخدام watsonx SDK لإجراء استدلال التنبؤ.

توفر الآن نماذج Granite 3.1 على منصة IBM watsonx.ai. يمكن أيضًا الوصول إليها من خلال شركاء المنصة مثل - حسب الترتيب الأبجدي - Docker (من خلال كتالوج DockerHub GenAI) وHugging Face وLM Studio وOllama وReplicate. كما ستتوفر نماذج مختارة من Granite 3.1 عبر NVIDIA (كخدمات NIM Microservices) في يناير 2025.

يتوفر عدد من الأدلة والأمثلة الإرشادية للعمل مع نماذج Granite في دليل Granite Snack Cookbook على GitHub، ، بدءًا من تنسيق مهام سير العمل باستخدام نماذج Granite اللغوية في Langchain إلى تنفيذ نماذج Granite Guardian.

يمكن للمطورين أيضًا البدء باستخدام نماذج Granite في ساحة تجارب نماذج Granite أو من خلال استكشاف مجموعة من العروض التوضيحية والبرامج التعليمية المفيدة في مستندات IBM، مثل:

• .
• بناء نظام للإجابة على أسئلة المستندات باستخدام Docling وGranite
• تطبيق استرجاع المعلومات المعزز القائم على الوكلاء محليًا باستخدام Ollama وOpen WebUI وGranite 3.1

استكشف نماذج Granite 3.1 ←