IBM Granite 3.2: الاستنتاج، والرؤية، والتنبؤ، وغيرها الكثير

نضع بين يديك نبذة حول المعلومات الأساسية:

• يُقدم Granite 3.2 8B Instruct وGranite 3.2 2B Instruct الجديدان قدرات استنتاج تجريبية قائمة على سلسلة من الأفكار تُحسّن من قدرتهما على اتباع التعليمات المعقدة بشكل كبير مع عدم التضحية بالأداء العام. يُمكن التبديل بين تشغيل عملية الاستنتاج وإيقاف تشغيلها، ما يسمح بالاستخدام الفعال لموارد الحوسبة.
• عند إضافة هذا الذكاء إلى تقنيات قياس الاستدلال لدى IBM، فإن عملية التفكير الممتدة في Granite 3.2 8B Instruct تُمكنها من تلبية أداء الاستنتاج او تجاوزه في النماذج الأكبر حجمًا، بما في ذلك GPT-4o وClaude 3.5 Sonnet.
• تم إعداد النموذج متعدد الوسائط الجديد لدينا، Granite Vision 3.2 2B، مع التركيز بوجه خاص على فهم المستندات، والذي تتطابق فيه النماذج المفتوحة البارزة عالية الأداء التي تمتاز بحجم أكبر بمعدل خمسة أضعاف.
• تُوسع أحدث الإضافات إلى مجموعة نماذج Granite Timeseries، Granite-Timeseries-TTM-R2.1، قدرات التنبؤ في TTM لتشمل التنبؤات اليومية والأسبوعية بالإضافة إلى مهام التنبؤ في كل دقيقة وفي كل ساعة التي تدعمها نماذج TTM السابقة بالفعل.
• نطرح أحجام نماذج جديدة لنموذج Granite Guardian 3.2، بما في ذلك بديل مشتق من نموذج 3B-A800M Mixture of Experts اللغوي لدينا. تُوفر النماذج الجديدة كفاءة محسّنة مع أقل فقدان للأداء.
• تمتاز سلسلة نماذج Granite Embedding الآن بالقدرة على تعلم الأمور المُدمجة المتفرقة. يوازن Granite-Embedding-30M-Sparse بين الكفاءة وقابلية التوسع عبر باقات الموارد وأزمنة الاستجابة المتنوعة.
• مثلها مثل النماذج السابقة لها، تم إصدار كل نماذج IBM Granite الجديدة مفتوحة المصدر بموجب ترخيص Apache 2.0 المسموح به.
• نماذج Granite 3.2 متوفرة الآن على IBM watsonx.ai، وHugging Face، وOllama، وLMStudio، وReplicate.

Granite 3.2 هو أحدث إصدار من الجيل الثالث لنماذج IBM Granite، ويُمثل خطوة أساسية في تطور سلسلة Granite لما هو أبعد من النماذج اللغوية المباشرة. يُقدم Granite 3.2، الذي يتسم بميزات الاستنتاج التجريبي والذي يُعد أول نموذج لغوي بصري (VLM) رسمي لدينا، العديد من القدرات الجديدة المهمة لمجموعة Granite.

يتضمن الإصدار كذلك مجموعة من التحسينات على كفاءة عروضنا الحالية وفعاليتها وتعدد استخداماتها. تُواصل الأولوية التي تُعطيها IBM للنماذج العملية والجاهزة للمؤسسات سعيها في تحقيق الأداء المتطور باستخدام معايير أقل.

كما هو الحال دائمًا، أحدث نماذج Granite مفتوحة المصدر بموجب ترخيص Apache 2.0. تتوفر كل طرز Granite الآن على Hugging Face. تتوفر كذلك نماذج مختارة على منصات إضافية، بما فيها IBM watsonx.ai. تتوفر البرامج التعليمية والوصفات وغيرها من الموارد في قسم "البدء" في نهاية هذه المقالة.

تم تدريب أحدث إصدارات النماذج اللغوية الكبيرة النصية فقط والرئيسية من IBM، Granite 3.2 Instruct 8B وGranite 3.2 Instruct 2B، لتقديم قدرات استنتاج محسّنة مقارنة بنظيراتها 3.3. يتعارض تنفيذنا للاستنتاج إلى حدٍ ما مع بعض اتجاهات الصناعة، بما يتماشى مع النهج العملي لدى IBM لتحسين أداء النماذج.

• بدلاً من تعقيد مسارات التطوير بإصدار "نماذج استدلال" منفصلة، دعمت IBM قدرات الاستنتاج في نماذج Instruct الأساسية لدينا مباشرةً. يمكن التبديل بين عملية تشغيل عملية الاستنتاج الداخلية في النموذج وإيقاف تشغيلها بسهولة، ما يضمن استخدام موارد الحوسبة استخدامًا ملائمًا في المهمة المطروحة.
  
  
• في حين تعمل التقنيات النموذجية التي تعتمد على الاستنتاج على تحسين أداء النماذج في المهام المنطقية (مثل الرياضيات والتعليمات البرمجية) على حساب الجوانب الأخرى، تجلب منهجية IBM فوائد الاستنتاج مع الحفاظ على الأداء العام والأمان على جميع الأصعدة.

لا تُمثل هذه الميزات التجريبية من نماذج Granite 3.2 Instruct الجديدة سوى أحد الاستكشافات المتعددة المستمرة على IBM Research في تطوير النموذج القائم على الاستنتاج. يُوضح العمل الإضافي على تقنيات قياس الاستدلال أنه يمكن معايرة Granite 3.2 8B Instruct ليتناسب مع أداء الاستنتاج الرياضي للنماذج الأكبر حجمًا أو يتجاوزه، بما في ذلك GPT-4o-0513 من OpenAI وClaude-3.5-Sonnet-1022 من Anthropic.

يأتي الحدس الذي يدفع التطورات الأخيرة في استنتاج النموذج اللغوي من بحث أجري في عام 2022 يُوضح أن إضافة جملة "فكر خطوة بخطوة" ببساطة وهي تقنية تصميم المطالبات التي يُطلق عليها عادةً مطالبات سلسلة الأفكار، ما يدفع إلى تحسين نواتج النماذج في مهام الاستنتاج بشكل كبير.

اقترحت الأبحاث اللاحقة من عام 2024 كذلك أن توسيع نطاق حوسبة زمن الاستدلال أي الموارد المستخدمة لإخراج كل ناتج في أثناء الاستدلال يُمكن بدوره أن يُحسِّن من أداء النموذج بقدر ما يزيد من حجم النموذج أو الموارد المستخدمة لتدريبه. وقد سعت أحدث الأساليب في الغالب إلى تحقيق هذا النوع من الاستدلال للتوسع من خلال دمج أطر مختلفة من التعلم التعزيزي (RL) الذي يُحفز "عمليات التفكير" الأطول والأكثر تعقيدًا. ومن المثير للاهتمام أن قياس الاستدلال الذي جرى إثباته بالتجربة يتيح للنماذج اللغوية الكبيرة (LLMs) الأصغر حجمًا تجاوز قدرات الاستنتاج للنماذج الأكبر حجًمًا

على الرغم من نقاط قوة نماذج الاستنتاج، فإنها لا تخلو من السلبيات. وانطلاقًا من هذا الفهم، اتخذت IBM تدابير مدروسة للحد من هذه العيوب في التنفيذ المُحدد لقدرات الاستنتاج في نماذج Granite 3.2.

عادةً ما تكون "نماذج الاستنتاج" أبطأ وأكثر تكلفة من النماذج اللغوية الكبيرة (LLMs) العامة، حيث يجب عليك توليد كل الرموز التي يستخدمها النموذج ودفع ثمنها لإجراء "التفكير" حول الاستجابة النهائية قبل تقديم ناتج مرة أخرى إلى المستخدم بفاعلية. لاحظت IBM Research مثالاً واحدًا على DeepSeek-R1، وهو نموذج تفكير بارز يستغرق من الوقت 50.9 ثانية للإجابة عن السؤال "أين روما؟"

توجد سيناريوهات يمكن فيها تبرير هذا الوقت الإضافي والحوسبة بسهولة، ومع ذلك يُوجد أيضًا العديد من السيناريوهات التي يصبح فيها بمثابة مضيعة للموارد. وبدلاً من مطالبة المطورين بالتوفيق بين هذه التنازلات في كل مرة يختارون فيها نموذجًا لتطبيق أو سير عمل معين، تسمح نماذج IBM Granite 3.2 Instruct بالتبديل بين تشغيل عملية التفكير الممتدة أو إيقاف تشغيلها ببساطة بمجرد إضافة المعيار"thinking":true أو"thinking":false إلى نقطة نهاية API. 

يمكنك الاستفادة من عملية التفكير في Granite 3.2 عندما يكون ذلك ضروريًا أو إعطاء الأولوية للكفاءة عندما لا يكون ذلك ضروريًا.

في تاريخ نماذج الاستنتاج القصير نسبيًا، أعطت العديد من النُهج البارزة الأولوية لتحقيق مكاسب الأداء فقط في وضع ذي نطاق تركيز ضيق للمجالات التي تعتمد على المنطق، مثل الرياضيات أو التعليمات البرمجية. فقد أسفر العمل الجاري في IBM باستخدام تقنيات قياس الاستدلال عن تحسينات أداء كبيرة لا سيما في المعايير التقنية المرتبطة تقليديًا "بالاستنتاج" مثل AIME وMATH-500، فقد كان تركيزنا في Granite 3.2 Instruct منصبًا على إثراء العمليات الفكرية في نماذجنا لتحسين قدرتها على اتباع التعليمات المعقدة على نطاق أوسع.

قد ينصبّ التركيز ذي النطاق الضيق على المهام التقنية المستهدفة صراحةً من مطوري النماذج في بعض الأحيان على حساب المجالات الأخرى - بما في ذلك الأداء العام والسلامة - التي يمكن "نسيان" معرفتها باستخدام النموذج إذا لم يتم تناولها بشكل كافٍ في مجموعات البيانات التي تُستخدم لتحسين أداء الاستنتاج. لتجنب ذلك، طورت IBM نموذج Granite 3.2 Instruct من خلال تطبيق إطار التعلم التعزيزي القائم على تحسين تفضيلات التفكير (TPO) على Granite 3.1 Instruct مباشرةً.

على عكس العديد من المناهج الشائعة في قدرات الاستنتاج، فإن الاعتماد الأقل على التعلم التعزيزي القائم على تحسين تفضيلات التفكير (TPO) على عوامل التشغيل أو الدوال المنطقية لتقييم نواتج النموذج وتقديرها يجعل من السهل التوسع في المهام العامة. وقد مكن ذلك نموذج Granite 3.2 Instruct من تحسين الأداء في المهام التي تتطلب الاستنتاج المعقد من دون المساس بالأداء في أي مكان آخر.

تظهر فوائد هذا النهج بوضوح في المقارنات مع نماذج DeepSeek-R1-Distill التي تُعد في الواقع (على الرغم من أسمائها) إصدارات نماذج Llama وQwen التي أُجري تعديلها لتناسب عملية الاستنتاج في DeepSeek-R1. جدير بالذكر هنا أيضًا، أنه على عكس نماذج R1-Distill، لم يتم تدريب نماذج IBM Granite 3.2 Instruct باستخدام أي بيانات تم إنشاؤها بواسطة DeepSeek، ما يبسط من آثارها التنظيمية بشكل كبير.

خذ في حسبانك أداء نماذج Llama وQwen وGranite ذات الحجم المماثل على ArenaHard وAlpaca-Eval-2 قبل الاستنتاج وبعده وهي معايير شائعة تقيس قدرة النموذج على التفكير في طريقه من خلال التعليمات الصعبة. في حين أن تقنية DeepSeek تُقلل من الأداء في هذه المهام غير المستهدفة، فإن تقنيات CoT المستخدمة لتطوير Granite 3.1 Instruct إلى Granite 3.2 Instruct أدت إلى تحسين كبير في متابعة التعليمات.

وبالمثل، يتفادى Granite 3.2 العيوب المتعلقة بالأداء العام المترتبة عادةً على إدخال قدرات الاستنتاج.

تُحافظ IBM على الاهتمامات الأساسية للمؤسسة، بما في ذلك السلامة في صميم جميع قرارات التصميم. في حين تظهر نماذج DeepSeek المتدرجة انخفاضًا كبيرًا في أداء السلامة (حسب قياس الأداء على معيار AttaQ)، فقد حافظ نهج IBM على فعالية Granite 3.2 Instruct في مواجهة الهجمات المعادية.

كما ذكرنا، يُمثل إصدار Granite 3.2 فقط بداية استكشافات IBM لقدرات الاستنتاج في نماذج المؤسسات. يهدف جزء كبير من أبحاثنا الجارية إلى الاستفادة من عملية التفكير الأطول بطبيعتها والأكثر فاعلية في Granite 3.2 لمواصلة تحسين النماذج.

يرتكز أحد طرق الاستكشاف هذه حول تعزيز Granite 3.2 بتقنيات قياس للاستدلال الأكثر تعقيدًا، بما في ذلك تصفية العناصر الدقيقة والتصويت بالأغلبية (يُطلق عليه أيضًا الاتساق الذاتي). تُشير التجارب المبكرة إلى أنه عند استخدام Granite 3.2 مع تقنيات قياس الاستدلال هذه، يمكن أن يتطابق أداؤه في مهام الاستنتاج الرياضي مع أداء نماذج الحدود الأكبر بكثير أو يتجاوزه.

يُعد Granite Vision 3.2B نموذجًا لغويًا خفيف الوزن وكبير الحجم مزودًا بقدرات الرؤية الحاسوبية يستهدف حالات الاستخدام اليومي للمؤسسات ومدرب مع التركيز بوجه خاص على فهم المستندات المرئية. ومن خلال التعامل مع مدخلات الصور والمدخلات النصية على حدٍ سواء، يُنافس أدء Granite Vision 3.2 في المعايير المرجعية في المؤسسة، مثل DocVQA وChartQA، أداء النماذج المفتوحة الأكبر حجمًا بشكل كبير.

على الرغم من أن Granite Vision 3.2B غير مُصمم صراحةً ليكون بديلاً لنماذج Granite ذات الحجم المماثل النصية فقط في المهام اللغوية، فإنه يُمكنه التعامل مع سيناريوهات إدخال النص وإخراج النص بمهارة.

يُمكن لنموذج Granite Vision 3.2B التعامل مع مجموعة كبيرة من مهام الفهم البصري ولكنه متخصص في المهام الأكثر صلة بفهم المستندات والتوليد المعزز بالاسترجاع (RAG) متعدد الوسائط.

يتم تدريب معظم النماذج اللغوية البصرية (VLMs) التي يُطلق عليها النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) على مهام الرؤية بشكل أساسي على الصور الطبيعية. لا يؤدي هذا بالضرورة إلى الأداء الأمثل على صور المستندات، التي تختلف خصائصها البصرية الفريدة - التخطيطات والخطوط والمخططات والرسوم البيانية - اختلافًا كبيرًا عن تلك الخاصة بالصور الطبيعية. وبالنسبة إلى معظم حالات الاستخدام العامة للصور داخل النص، يتطلب فهم المستندات فهمًا أكثر تحديدًا ودقة للسياق المرئي.

التحديان الأساسيان في تمكين النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) من معالجة المستندات والمرئيات المرتبطة بها بشكل فعال هما ترميز الصور عالية الدقة بشكل كافٍ وتفسير النص المرئي بدقة داخل تلك المستندات. عادةً ما تعتمد الأساليب المتخصصة إما على أنظمة التعرف الضوئي على الحروف (OCR) الخارجية لمعالجة النص داخل الصور في إطار العمل "الإدراك ثم الفهم"، أو على هياكل نموذجية مصممة خصوصًا لفهم المستندات.

كلا النهجين لهما عيوب. يمكن أن يؤدي الاعتماد على فهم المستندات الخارجية المستندة إلى التعرف الضوئي على الحروف إلى تراكم الأخطاء قبل وصول المعلومات الأساسية إلى اللغة، بينما تحاول العديد من الطرق المخصصة "التي لا تعتمد على التعرف الضوئي على الحروف" التعامل مع المدخلات عالية الدقة أو تعاني من نقص المعرفة الشاملة الخاصة بالنماذج اللغوية الكبيرة التنافسية.²

في الآونة الأخيرة، تم تحقيق أداء فائق في فهم المستندات من خلال ضبط نماذج لغة الرؤية العامة بالتعليمات على مجموعات بيانات تركز على المستندات. ولسوء الحظ، كان التقدم في هذا النهج محدودًا إلى حد ما بسبب النقص في مجموعة البيانات المناسبة مفتوحة المصدر. ولإتاحة الفرصة لإحراز المزيد من التقدم في هذا النهج، تضمن تطوير IBM لنموذج Granite Vision 3.2 عملاً مكثفًا من أجل الحصول على مجموعة بيانات شاملة تتبع التعليمات لفهم المستندات المرئية.

مجموعة بيانات DocFM هي مجموعة بيانات كبيرة لضبط التعليمات لمهام الرؤية مبنية على مجموعة أساسية من بيانات المؤسسة تم تنسيقها بعناية. تتوفر تفاصيل مكثفة عن مصادر البيانات المستخدمة في جمع مجموعات بيانات فهم المستندات، وطرق التصفية والتنظيف المستخدمة لمعالجة تلك المجموعة الأولية، والمنهجيات المستخدمة لإنشاء مهام تدريبية اصطناعية لنموذج Granite Vision بعد ذلك في التقرير الفني المرفق.

تشمل بيانات فهم المستندات المستخدمة لتدريب Granite Vision مجموعة متنوعة من فئات المستندات مع فئات أوسع من صور المستندات العامة والمخططات والمخططات الانسيابية والرسوم البيانية. تشمل مجموعة البيانات المستمدة في النهاية من مصادر البيانات هذه مجموعة متنوعة من المهام تشمل الإجابة عن أسئلة المستندات، وفهم نص المشهد، واستخراج القيمة الرئيسية، وتأصيل النص، وتحليل التخطيط، والتعليق، وفهم واجهة المستخدم، والتعليمات البرمجية.

DocFM هي مجموعة بيانات كبيرة جدًا تعتزم IBM استخدامها في مجموعة متنوعة من مساعي التعلم المرئي في المستقبل. اعتمد تدريب برنامج Granite Vision على مجموعة فرعية من DocFM لإنشاء سلسلة من مجموعات البيانات المرئية الاصطناعية للإجابة عن الأسئلة. يمكن العثور على نظرة شاملة على مجموعات بيانات فهم المستندات المستخدمة في Granite Vision في الجدول 5 من ملحق التقرير الفني.

في أثناء تصميم نموذج Granite 3.2 Vision وتدريبه، قدمت IBM أيضًا تقنية جديدة في وقت الاختبار، تدمج نهجًا مخصصًا للسلامة في النموذج نفسه مباشرةً، بدلاً من الاعتماد على نموذج خارجي للحماية من أجل مراقبة النشاط الضار.

تتمثل رؤيتنا الرئيسية في أنه ضمن العديد من عوامل الانتباه وطبقات المحولات في Granite Vision توجد مجموعة فرعية مختلفة من ميزات الصور التي يمكن أن تكون مفيدة في تحديد مخاوف السلامة عند صياغة مهام مراقبة السلامة بشكل رسمي كمشكلات في التصنيف.

في عملية تم توضيحها بمزيد من التفصيل في التقرير التقني لنموذج Granite Vision، صممت IBM خطوات لعزل متجهات الانتباه المنتجة ضمن آلية الانتباه في Granite Vision وفحصها من أجل تقييم أي منها يرتبط بشكل وثيق، في المتوسط، بفئات معينة من المدخلات الضارة. وبمجرد تحديدها، يمكن استخدام عوامل الانتباه المسؤولة عن توليد "متجهات السلامة" لتحديد ما إذا كان الإدخال آمنًا أم لا.

ستواصل IBM استكشاف التطبيقات المحتملة لمتجهات الانتباه المختلفة. إحدى طرق الاستكشاف المحتملة هي التحقيق في استخدامها في تكييف الإصدارات المستقبلية من Granite Guardian لمراقبة السلامة متعددة الوسائط بالكامل.

يوفر Granite Guardian 3.2، الجيل الأحدث من نماذج IBM Guardrail المصممة لكشف المخاطر في المطالبات والموجِّهات، الأداء على قدم المساواة مع نظيراته من Guardian 3.1 بسرعة أكبر مع تكاليف استدلال واستخدام ذاكرة أقل.

يقدّم IBM Granite Guardian 3.2 ميزة الثقة اللفظية، وهي ميزة جديدة توفر تقييمًا أكثر دقة للمخاطر المكتشفة للاعتراف بالغموض المتأصل في بعض سيناريوهات مراقبة السلامة.

بدلاً من مجرد إرجاع القيمة "Yes" أو "No" الثنائية في عملية مراقبة المدخلات والمخرجات للمخاطر، ستشير نماذج Granite Guardian 3.2 أيضًا إلى مستوى الثقة النسبية. عند اكتشاف المخاطر المحتملة، تشير نماذج Guardian 3.2 إما إلى الثقة "العالية" أو "المنخفضة"، كما هو موضح في المثال التالي:

يقدم Granite Guardian 3.2 حجمين جديدين للنماذج:

تم اشتقاق Granite Guardian 3.2 5B من Guardian Guardian 3.1 8B (والذي تم إنشاؤه من خلال ضبط النموذج اللغوي الأساسي لتصنيف السلامة). وبإلهام من الأبحاث التي توضح أن الطبقات العميقة من الشبكة العصبية غالبًا ما تكون زائدة عن الحاجة، أو لا تتم الاستفادة منها بالكامل من خلال التدريب المسبق، أو ببساطة أقل حساسية من طبقات الشبكات الأقل عمقًا، اتبعت IBM إستراتيجية تكرارية لجعل نموذج 8B "أدق". أسفرت العملية عن تخفيض معلمات 8B بنسبة 30% تقريبًا مع الاحتفاظ بمستوى الأداء قريبًا من أداء النموذج الأصلي.

• أولاً، يتم اختيار طبقات محددة للتشذيب بناءً على التشابه النسبي بين متجهات المدخلات والمخرجات. بعبارة أخرى، نحدد طبقات الشبكة التي تكون إسهاماتها أقل تأثيرًا.
• وبمجرد تحديدها، يتم التخلص من 10 طبقات من النموذج.
• تتم بعد ذلك "معالجة" النموذج عن طريق إعادة تدريبه على 80% من بيانات التدريب الأصلية، ثم يتم تشذيب طبقتين أخريين.

تم إنشاء Granite Guardian 3.2 3B-A800M من خلال ضبط نموذج Mixture of Experts (MoE) الأساسي، والذي ينشط 800M فقط من إجمالي عدد معلمات 3B في وقت الاستدلال. جدير بالذكر أن طرحه يضيف خيارًا فعالاً وموفرًا للتكلفة بشكل خاص إلى مجموعة Granite Guardian.

تم تنزيل مجموعة IBM الشهيرة المفتوحة المصدر من نماذج Granite Time Series المدمجة، والتي يطلق عليها Tiny Time Mixers (TTMs)، أكثر من 8 ملايين مرة على Hugging Face. في حين أن المتغيرات السابقة لنموذج TTM التي تم إصدارها ضمن سلسلة TTM-R1 وTTM-R2 كانت تدعم التنبؤ الصفري والزهيد للدقة كل دقيقة إلى كل ساعة، فإن الإضافة الأحدث إلى مجموعة Granite Time Series، ألا وهي TTM-R2.1، تدعم التوقعات اليومية والأسبوعية.

تتوفر قائمة تفصيلية بجميع مصادر البيانات المستخدمة لتدريب TTM-R2 وTTM-R2.1 في الجزء السفلي من بطاقة طراز TTM-R2 / R2.1 Hugging Face. ويمكن العثور على قائمة كاملة بالمتغيرات في علامة تبويب "Files and versions" (الملفات والإصدارات).

يتوفر عدد من الوصفات لبدء استخدام Tiny Time Mixers في دليل Granite Time Series.

في لوحة الشرف لنموذج GIFT-Eval Time Series Forecasting من Salesforce، وهو معيار شامل لتقييم أداء نموذج المتواليات الزمنية بحسب المدخلات المتعددة في 24 مجموعة بيانات تمتد عبر 7 مجالات و10 ترددات وأطوال تنبؤ تتراوح من التنبؤات القصيرة إلى الطويلة الأجل، تتصدر نماذج TTM-R2 (بما في ذلك متغيرات TTM-R2.1 الجديدة) جميع النماذج لدقة التنبؤ بالنقاط كما يتم قياسها بمتوسط الخطأ المتدرج المطلق (MASE).³ يتصدر نموذج TTM-R2 قائمة أفضل 5 نماذج للتنبؤ الاحتمالي، كما تم قياسه من خلال درجة الاحتمالية المرتبة المستمرة (CRPS).

تجدر الإشارة إلى أن نماذج TTM تحقق هذه التصنيفات من خلال التفوق على النماذج بمقدار عدة أضعاف حجمها. بأحجام "صغيرة" من 1-5 ملايين معلمة، تكون نماذج TTM أصغر بمئات المرات من طرازي ^{المركزين 2 و3} من MASE ، TimesFM-2.0 من Google (500 مليون معلمة) وChronos-Bolt-Base من Amazon (205 مللايين معلمة).
 

يتضمن إصدار TTM-R2.1 مجموعة متنوعة من النماذج بأطوال سياق وآفاق تنبؤ مختلفة. بينما تقدم نماذج TTM-R2 السابقة أطوال سياقات تبلغ 1536 أو 1024 أو 512، فإن TTM-R2.1 تتضمن نماذج ذات أطوال سياقات أقصر تتراوح بين 512 و52، ما يجعلها مناسبة تمامًا للتوقعات اليومية والأسبوعية.

لا تحل نماذج TTM-R2.1 بالضرورة محل سابقاتها من TTM-R2. يعتمد الإصدار "الأفضل" من TTM على طبيعة بياناتك وحالة الاستخدام. على سبيل المثال، Granite-Timeseries-TTM-52-16-ft-R2.1 يبلغ طول سياقها 52 وطول تنبؤها 16، مما يجعلها الأنسب لمهام مثل تحليل نقاط البيانات الأسبوعية لمدة عام والتنبؤ بالنتائج الأسبوعية خلال الأشهر القليلة المقبلة.

تعمل وحدة get_model على تبسيط المهمة في اختيار متغير النموذج المناسب من العروض الشاملة المتاحة.

يشير التعيين "قدم " المتضمن في أسماء طرازات TTM-R2.1 إلى "ضبط التردد" (أو رسمي أكثر ضبط بادئة التردد). بفضل تقنيات ضبط البادئة المستخدمة كبديل خفيف الوزن لضبط نماذج الأساس بدقة لمهام إنشاء النص، يعمل ضبط بادئة التردد على تحسين قدرة نماذج الأساس للمتوالية الزمنية لدينا على التكيف مع الاختلافات في بيانات الإدخال الخاصة بك.

عند تمكينها، يُضاف متجه تضمين إضافي - يشير إلى تكرار بياناتك - بصفته "بادئة" إلى إدخال النموذج إلى جانب المعلومات من نافذة السياق. كما هو مبين بالتفصيل في التقرير الفني الخاص بنموذج TTM، وجد فريق النموذج أن ضبط التكرار يحسِّن الأداء عند التدريب المسبق على مجموعات كبيرة من مجموعات البيانات بدقة متنوعة. ففي أثناء الاستدلال، يسمح هذا الرمز المميز للنموذج بالتكيف بسرعة مع تكرار الإدخال، وهو أمر مفيد بشكل خاص عندما يكون طول السياق قصيرًا جدًا.

في حين أن جميع نماذج Granite Embedding السابقة (بالإضافة إلى جميع نماذج التضمين تقريبًا في عصر التعلم العميق الحديث) تتعلم التضمينات الكثيفة ، فإن أحدث نموذج Granite Embedding- ألا وهو Granite-Embedding-Sparse-30M-English- لديه بنية معدلة قليلاً تمكنه من تعلم التضمينات المتنوعة.

فقد تم تحسينه للمطابقات التامة والبحث عن الكلمات المفتاحية وترتيبها باللغة الإنجليزية، حيث يوازن Granite-Embedding-30M-Sparse بين الكفاءة وقابلية التوسع عبر باقات متنوعة من الموارد وزمن الانتقال. تم إصداره من خلال Granite Experiments، وهي ساحة IBM Research لاختبار الأفكار مفتوحة المصدر لتسريع دورة التطوير.

يأخذ نموذج التضمين الكثيف النموذجي إدخالاً نصيًا (مثل مستند أو جملة أو استعلام) ويُخرج تضمينًا متجهًا بحجم ثابت. حجم هذا المتجه - أي عدد الأرقام (أو الأبعاد) التي يحتوي عليها - هو خيار يمكن التحكم فيه في أثناء التصميم. النماذج التي تتعلم تضمينات أصغر تكون أسرع، ولكنها أقل دقة. النماذج التي تتعلم تضمينات أكبر تكون أبطأ، ولكنها أكثر دقة. يُطلق عليها عمليات تضمين المتجهات «الكثيفة» لأن كل بُعد يخزن قيمة محددة.

لا تتوافق الأبعاد الفردية للتضمين بشكل مباشر مع سمات المعنى الدلالي للإدخال الأصلي بأي طريقة حرفية. التضمينات المتجهة الكثيفة هي في الأساس صندوق أسود: يمكن للنماذج استخدامها لإجراء عمليات مفيدة، ولكننا نحن البشر لا يمكننا تفسيرها بأي طريقة ذات مغزى.

التضمينات المتنوعة أكثر سهولة في الاستخدام. حجم تضمينها هو نفس حجم المفردات: أي أن كل بُعد من أبعاد تضمين المتجهات يتوافق مع إحدى "الكلمات" - أو بشكل أكثر دقة، أحد الرموز المميزة- التي يتعلمها النموذج. تعكس القيمة المحددة الواردة في كل بُعد من أبعاد متجهات التضمين المتنوعة صلة الكلمة (الرمز المميز) التي يمثلها البُعد في المدخلات والتي يقوم النموذج بتوليد تضمين لها. ومن ثَمَّ، فإن التضمينات المتنوعة قابلة للتفسير إلى حد كبير.

بالنسبة إلى المقاطع النصية الأقصر، مثل التغريدات أو التعليقات أو الآراء الموجزة للمنتجات، يمكن أن تكون التضمينات المتنوعة أسرع بكثير مع تقديم أداء أفضل من أداء التضمينات الكثيفة (أو على الأقل مساوٍ له). عادة ما يقدمون أداءً فائقًا "خارج الصندوق" من دون الحاجة إلى الضبط الدقيق.

مع وضع هذا في الحسبان، فإنها لا تخلو من العيوب. ثمة فرصة محدودة لتحسين أداء نموذج التضمين المتنوع بما يتجاوز خط الأساس الأصلي من خلال الضبط الدقيق. بالنسبة إلى المقاطع النصية الأطول، تبدأ أي مزايا في الكفاءة في التلاشي أو حتى تنعكس مع استخدام المزيد من الأبعاد لتعكس أهمية عدد متزايد من الرموز المميزة من مفردات النموذج.

يوفر نموذج 30M Granite Embedding المتنوع أداءً يعادل تقريبًا نظيره الكثيف 30M عبر معايير استرجاع المعلومات (BEIR) مع تقديم ميزة طفيفة على نموذج SPLADE-v3.

جميع طرز Granite 3.2 متوفرة بموجب ترخيص Apache 2.0 المتاح على Hugging Face. تتوفر نماذج محددة أيضًا على IBM watsonx.ai، وكذلك من خلال شركاء المنصة بما في ذلك LM Studio وOllama وReplicate (بالترتيب الأبجدي). من الآن فصاعدًا، سيتم تحديث هذه المقالة لتعكس توفر النظام الأساسي الموسع لطرز Granite 3.2. 

يتوفر عدد من الأدلة والوصفات الخاصة بالعمل مع نماذج Granite في Granite docs وGranite Snackookbook على GitHub. يمكن للمطورين أيضًا بدء استخدام نماذج Granite في ساحة تجارب نماذج Granite أو تصفح مجموعتنا الكبيرة من العروض التوضيحية والبرامج التعليمية المفيدة، مثل:

• إنشاء وكيل أبحاث الذكاء الاصطناعي لتحليل الصور باستخدام نماذج التفكير والرؤية في Granite 3.2
• التوليد المعزّز بالاسترجاع (RAG) متعدد الوسائط مع Granite Vision وDocling
• استكشاف وصفات TTM في دليل Granite Time Series
• إنشاء نظام للإجابة عن الأسئلة من خلال صور PowerPoint باستخدام Granite Vision

استكشاف نماذج Granite 3.2 ←