ما هو استخلاص المعرفة؟

الهدف من استخلاص المعرفة هو تدريب نموذج أكثر إحكامًا لتقليد نموذج أكبر وأكثر تعقيدًا. في حين أن الهدف في التعلم العميق التقليدي هو تدريب شبكة عصبية اصطناعية لتقريب تنبؤاتها إلى أمثلة المخرجات المقدمة في مجموعة بيانات التدريب، فإن الهدف الأساسي في استخلاص المعرفة هو تدريب شبكة الطلاب لتتناسب مع التنبؤات التي قدمتها شبكة المعلم.

غالبًا ما يتم تطبيق استخلاص المعرفة (KD) على الشبكات العصبية العميقة الكبيرة ذات الطبقات المتعددة والمعايير القابلة للتعلم. هذه العملية تجعلها ذات صلة بشكل خاص بالانتشار المستمر لنماذج الذكاء الاصطناعي التوليدي الضخمة بمليارات المعلمات.

تعود أصول هذا المفهوم إلى ورقة بحثية صدرت عام 2006 بعنوان "ضغط النموذج". استخدم Caruana وآخرون ما كان نموذج تصنيف متطورًا في ذلك الوقت، وهو نموذج تجميعي ضخم يتكون من مئات المصنفات الأساسية، لتصنيف مجموعة بيانات كبيرة، ثم قاموا بتدريب شبكة عصبية واحدة على مجموعة البيانات المصنفة حديثًا تلك من خلال التعلم الخاضع للإشراف التقليدي. هذا النموذج المدمج، "أصغر وأسرع ألف مرة"، يطابق أداء المجموعة.¹

ومنذ ذلك الحين، تم توظيف تقنيات استخلاص المعرفة بنجاح في مجالات متنوعة، بما في ذلك معالجة اللغة الطبيعية (NLP)، والتعرف على الكلام، والتعرف على الصور، واكتشاف الأجسام. في السنوات الأخيرة، كانت دراسة استخلاص المعرفة ذات أهمية خاصة للنماذج اللغوية الكبيرة (LLMs). بالنسبة لللنماذج اللغوية الكبيرة، برز استخلاص المعرفة كوسيلة فعالة لنقل القدرات المتقدمة من النماذج الرائدة ذات الملكية الخاصة إلى نماذج مصدر مفتوح أصغر حجمًا وأكثر سهولة في الوصول إليها.

في العديد من البيئات الواقعية، لا تكفي دقة وقدرة نموذج الذكاء الاصطناعي في حد ذاتهما لجعل النموذج مفيدًا: بل يجب أيضًا أن يتناسب مع الميزانية المتاحة من الوقت والذاكرة والمال والموارد الحسابية.

غالبًا ما تكون النماذج الأعلى أداءً لمهمة معينة كبيرة جدًا أو بطيئة أو مكلفة بالنسبة لمعظم حالات الاستخدام العملي، ولكنها غالبًا ما تمتلك صفات فريدة تنشأ من مزيج من حجمها وقدرتها على التدريب المسبق على كمية هائلة من بيانات التدريب. تظهر هذه القدرات الناشئة بشكل خاص في نماذج اللغة الانحدارية التلقائية، مثل GPT أو Llama، والتي تُظهر قدرات تتجاوز هدف التدريب الصريح المتمثل في التنبؤ ببساطة بالكلمة التالية في التسلسل. على العكس من ذلك، فإن النماذج الصغيرة أسرع وأقل تطلبًا من الناحية الحاسوبية، ولكنها تفتقر إلى الدقة والصقل والقدرة المعرفية لنموذج كبير يحتوي على معلمات أكثر بكثير.

في الورقة البحثية الأساسية لعام 2015 بعنوان "استخلاص المعرفة في الشبكة العصبية"، اقترح Hinton وآخرون التحايل على هذه القيود من خلال تقسيم التدريب إلى مرحلتين متميزتين بأغراض مختلفة. قدم المؤلفون تشبيهًا: بينما تمتلك العديد من الحشرات شكلًا يرقانيًا مُحسَّنًا لاستخلاص الطاقة والمغذيات من البيئة وشكلًا بالغًا مختلفًا تمامًا مُحسَّنًا للتنقل والتكاثر، يستخدم التعلم العميق التقليدي نفس النماذج لكلٍّ من مرحلتي التدريب والنشر، على الرغم من متطلباتهما المختلفة.

باستلهام من الطبيعة ومن عمل Caruana وآخرين، اقترح Hinton وآخرون أن تدريب نماذج كبيرة ومعقدة يستحق العناء إذا كان ذلك هو أفضل طريقة لاستخلاص البنية من البيانات—ولكنهم قدموا نوعًا مختلفًا من التدريب، وهو الاستخلاص، لنقل تلك المعرفة إلى نموذج صغير أكثر ملاءمة للنشر في الوقت الفعلي.²

لا تهدف تقنيات استخلاص المعرفة إلى تكرار مخرجات نماذج المعلمين فحسب، بل تهدف أيضًا إلى محاكاة "عمليات التفكير" الخاصة بهم. في عصر النماذج اللغوية الكبيرة، مكّن استخلاص المعرفة من نقل الصفات المجردة مثل الأسلوب وقدرات التفكير والمواءمة مع التفضيلات والقيم البشرية.³

علاوة على ذلك، فإن النماذج الأصغر حجمًا أكثر قابلية للتفسير بشكل أساسي: في نموذج يحتوي على مئات المليارات من المعلمات، من الصعب تفسير مساهمات أجزاء مختلفة من الشبكة العصبية. يمكن أن يساعد نقل التمثيلات التي تعلمتها نماذج "الصندوق الأسود" الكبيرة إلى نماذج أبسط في توضيح الرؤى التحويلية في مجالات مثل التشخيص الطبي والاكتشاف الجزيئي.⁴

لا يعتمد استخلاص المعرفة (KD) على أي بنية شبكة عصبية محددة، ولا يتطلب حتى أن يكون لشبكة المعلمين وشبكة الطلاب نفس البنى: يمكن تطبيقها على أي نموذج للتعلم العميق.

تستغل تقنية استخلاص المعرفة (KD) حقيقة أن الشبكات العصبية الاصطناعية هي "مقربات عالمية": إذا توفرت بيانات تدريب كافية، وطبقة مخفية كبيرة بما يكفي، يمكن للشبكة العصبية أن تقرب أي دالة بدقة عشوائية.⁵

في التعلم الآلي التقليدي، يتم تحديد "معرفة" النموذج المدرّب بمعاملاته المستفادة: الأوزان المتغيرة (والتحيزات)، المطبقة على العمليات المختلفة التي تحدث عبر الشبكة العصبية، والتي تضخم أو تقلل من تأثير جزء معين من مخرجات الشبكة على جزء آخر. هذه النظرة للمعرفة تجعل من الصعب رؤية كيف يمكن لنموذج واحد أن يستوعب معرفة نموذج آخر بحجم وبنية مختلفين.

وبدلاً من ذلك، طبّق Hinton وآخرون نظرة أكثر تجريدًا ومرونة للمعرفة على أنها ببساطة "تخطيط مكتسب من متجهات الإدخال إلى متجهات المخرجات". بمعنى آخر، تفسر عملية استخلاص المعرفة (KD) معرفة النموذج ليس كمعاملات رياضية بحتة يتعلمها في التدريب، بل ككيفية تعميمه على بيانات جديدة بعد ذلك التدريب.

من خلال هذا الفهم البديل للمعرفة، تهدف طرق تقطير المعرفة إلى تدريب نماذج الطلاب لتقليد ليس فقط الناتج النهائي لنموذج المعلم لمدخل معين، بل أيضًا خطوات التفكير التي يتخذها نموذج المعلم للوصول إلى هذا الناتج النهائي. مفهوميًا، يعمل هذا بشكل مشابه لضبط التعليمات عبر مطالبات سلسلة الأفكار (CoT)، التي تحسن جودة استجابات النماذج اللغوية الكبيرة (LLM) عن طريق تعليمها التعبير عن منطقها "خطوة بخطوة".

في التعلم الخاضع للإشراف التقليدي أو التعلم الخاضع للإشراف الذاتي ، تنتج دالة الخسارة متجهًا يمثل التباعد (أو الخسارة) بين مخرجات النموذج والمخرجات "الصحيحة" (أو الحقيقة الأساسية) عبر إدخالات مختلفة. من خلال ضبط معلمات النموذج لتقليل المنحدر (أو التدرج) لهذا المتجه من خلال خوارزمية تحسين مثل الانحدار التدرجي، تقترب مخرجات النموذج من تلك المخرجات الصحيحة. بينما تعتبر خطوات استنتاج النموذج "مهمة" من حيث تأثيرها على الناتج النهائي، إلا أنها لا تُقاس عادةً بدالة خسارة تقليدية.

على العكس من ذلك، يعمل استخلاص المعرفة على تدريب نموذج الطالب لمحاكاة طريقة تفكير نموذج المعلم، وذلك بإضافة دالة خسارة متخصصة تسمى خسارة الاستخلاص، والتي تستخدم خطوات الاستنتاج المنفصلة كأهداف مرنة للتحسين.

يمكن فهم مخرجات أي نموذج ذكاء اصطناعي على أنها تنبؤات: نموذج لغوي كبير تلقائي الانحدار يتنبأ بالكلمة (أو الكلمات) التالية في تسلسل محدد؛ نموذج رؤية حاسوبية يُستخدم لتصنيف الصور يتنبأ بفئة صورة معينة. للوصول إلى هذه التنبؤات النهائية، والتي تُسمى "الأهداف الصعبة" في هذا السياق، تقوم نماذج التعلم العميق عادةً بإجراء تنبؤات أولية متعددة، وتستخدم دالة softmax لإخراج التنبؤ ذي الاحتمالية الأعلى. أثناء التدريب ، يتم استخدام وظيفة خسارة الإنتروبيا المتقاطعة لتعظيم الاحتمال المخصص للمخرجات الصحيحة وتقليل الاحتمال المخصص للمخرجات غير الصحيحة.

على سبيل المثال، يتنبأ نموذج تصنيف الصور باحتمالية انتماء صورة مُدخلة إلى كل فئة معروفة تم تدريب النموذج على التعرف عليها، ثم يُخرج الفئة ذات قيمة الاحتمالية الأعلى. في اللغة الرياضية للتعلم الآلي، تُسمى هذه التنبؤات الفردية في كل فئة على حدة باللوغاريتمات. بالمثل، يتنبأ نموذج لغوي كبير ذاتي الانحدار باحتمالات متعددة لكل كلمة تالية، ويقوم (اعتمادًا على إعداد درجة حرارته) بأخذ عينة من إحدى هذه الاحتمالات لإخراجه.

في عملية استخلاص المعرفة، غالبًا ما توفر هذه التنبؤات الوسيطة—"الأهداف السهلة"—التي يولدها نموذج المعلم بيانات التدريب الرئيسية لنموذج الطالب. توفر الاحتمالات النسبية المعينة لهذه التنبؤات الأولية رؤى قيّمة حول كيفية تعميم نموذج المعلم. على سبيل المثال، من المرجح أن يخطئ نموذج تصنيف الصور في تصنيف صورة الثعلب على أنها "كلب" أكثر من تصنيفها على أنها "شطيرة". وبالتالي، توفر الأهداف السهلة معلومات أكثر بكثير لكل حالة تدريب من الأهداف الصعبة وحدها.

الأهداف السهلة توفر أيضًا اتساقًا أكبر من الأهداف الصعبة: قد يعتمد التنبؤ النهائي للنموذج في النهاية على فرق ضئيل بين قيمتين للوغيت، ولكن قيم اللوغاريتم نفسها لديها تباين أقل بكثير في التدرج بين كل مثال تدريبي.

بسبب غنى واستقرار المعلومات التي توفرها الأهداف السهلة، يمكن تدريب نموذج الطالب على عدد أقل من أمثلة التدريب، باستخدام معدل تعلم أعلى، مقارنةً بما استُخدم في تدريب نموذج المعلم الأصلي.

لتقريب نزعات التعميم لشبكة الطالب من تلك الخاصة بشبكة المعلم، يستخدم تقطير المعرفة عادةً دالتي خسارة. الأول هو دالة خسارة قياسية تعمل على "الخسارة الصعبة"، وتقيس المخرجات النهائية لنموذج الطالب مقابل العلامات الصحيحة (في التعلم الخاضع للإشراف) أو مقابل عينة البيانات الأصلية (في التعلم الذاتي الخاضع للإشراف). والثاني هو خسارة الاستخلاص، وهي "الخسارة السهلة" التي تقيس الأهداف السهلة لنموذج الطالب مقابل أهداف المعلم.

نظرًا لإمكانية وجود أهداف سهلة متعددة لكل مثال تدريبي، يقيس خسارة الاستخلاص الفرق بين توزيع الاحتمالية للأهداف السهلة لشبكة المعلم وتوزيع الاحتمالية لشبكة الطالب. يشيع استخدام تباعد كولباك-ليبلر (أو "تباعد KL") لهذا الغرض.

في حين أن اللوغاريتمات هي محور التركيز النموذجي لنقل المعرفة بين المعلم والطالب، إلا أن هناك طرقًا مختلفة يمكن أن تظهر بها "المعرفة" في شبكة عصبية عميقة. تركز طرق استخلاص المعرفة الأخرى على الأوزان والتنشيطات في الطبقات المخفية للشبكة، أو على العلاقات بين الأجزاء المختلفة للشبكة.

تندرج هذه الأشكال المختلفة من المعرفة عمومًا في واحدة من ثلاث فئات: المعرفة القائمة على الاستجابة أو المعرفة القائمة على السمات أو المعرفة القائمة على العلاقات.

تركز المعرفة القائمة على الاستجابة، وهي النوع الأكثر شيوعًا من استخلاص المعرفة، على نقل المعلومات من طبقة الإخراج النهائية لنموذج المعلم. في طريقة استخلاص المعرفة (KD) التقليدية القائمة على الاستجابة، يتم تدريب نموذج الطالب لإنتاج لوغاريتمات تطابق تنبؤات نموذج المعلم.

عندما تكون الأهداف السهلة لنموذج المعلم ذات إنتروبيا منخفضة—بمعنى آخر، عندما تكون التنبؤات "واثقة" للغاية، مثل إذا أخرج نموذج التصنيف لوغاريتمًا قريبًا جدًا من 1 (يمثل اليقين) لفئة واحدة ولوغاريتمات تقترب من 0 لجميع الفئات الأخرى—فإنها لا تقدم الكثير من المعلومات. وبالتالي، غالبًا ما تستخدم الطرق القائمة على الاستجابة إعدادات درجة حرارة عالية لمخرجات النموذج، مما يزيد من إنتروبيا تنبؤات النموذج. هذا يضمن توزيع احتمالي أكثر تنوعًا، وبالتالي كمية معلومات أكبر من كل مثال تدريبي.

تركّز المعرفة القائمة على السمات على المعلومات التي يتم نقلها في الطبقات الوسيطة أو "الطبقات المخفية" للشبكة العصبية. هذا هو المكان الذي تميل فيه الشبكات العصبية إلى إجراء استخراج السمات، وتحديد الخصائص والأنماط المميزة للإدخال ذات الصلة بالمهمة المطروحة.

على سبيل المثال، في الشبكات العصبية التلافيفية المستخدمة في الغالب لمهام رؤية الكمبيوتر مثل تجزئة الصور، تلتقط كل طبقة مخفية متتالية تفاصيل أكثر ثراءً بشكل تدريجي أثناء نقل البيانات عبر الشبكة. في النموذج المستخدم لتصنيف صور الحيوانات حسب الأنواع، قد تكتشف الطبقات المخفية الأولى ببساطة وجود شكل حيوان في جزء واحد من الصورة؛ قد ترى الطبقات المخفية الوسطى أن الحيوان طائر؛ الطبقات المخفية النهائية، قبل طبقة الإخراج مباشرة، ستميز التفاصيل الدقيقة التي تميز نوعًا من الطيور عن الأنواع الأخرى ذات الصلة الوثيقة.

وبالتالي، فإن الهدف من طرق استخلاص المعرفة القائمة على السمات هو تدريب نموذج الطالب على تعلم نفس الميزات التي تتعلمها شبكة المعلم. تُستخدم دوال خسارة الاستخلاص المستندة إلى السمات لقياس ثم تقليل الفرق بين تنشيطات سمات الشبكتين.

في حين تركز كل من المعرفة القائمة على الاستجابة والقائمة على السمات على مخرجات طبقات نموذج محددة، يركز استخلاص المعرفة القائم على العلاقات على العلاقات بين الطبقات المختلفة أو بين خرائط المعالم التي تمثل عمليات التنشيط في طبقات أو مواقع مختلفة.

في جوهرها، ربما تمثل المعرفة القائمة على العلاقات النهج الشامل لتدريب شبكة الطلاب على محاكاة "عملية التفكير" لنموذج المعلم. يمكن نمذجة هذه العلاقات والارتباطات بطرق مختلفة، بما في ذلك الارتباطات بين خرائط السمات أو المصفوفات التي تمثل التشابه بين الطبقات المختلفة أو تضمين السمات أو التوزيعات الاحتمالية لتمثيلات السمات.

يمكن أيضًا تصنيف طرق استخلاص المعرفة من خلال تأثيرها على شبكة المعلم. في حين أن عملية الاستخلاص التي اقترحها Hinton وآخرون في الأصل والتطورات العديدة اللاحقة لهذه المنهجية تهدف فقط إلى تدريب شبكة الطلاب، فإن مخططات الاستخلاص الأخرى تستلزم أيضًا التحديث المتزامن لأوزان شبكة المعلم.

في الاستخلاص غير المتصل، تكون شبكة المعلم مدربة مسبقًا وتتجمد أوزان نموذجها لمنع المزيد من التغييرات. الاستخلاص غير المتصل بالإنترنت هو نمط شائع في العديد من مناهج استخلاص المعرفة للنماذج اللغوية الكبيرة، حيث يكون المعلم غالبًا نموذجًا احتكاريًا أكبر لا يمكن تغيير أوزانه.

في بعض الظروف، قد لا يتوفر نموذج معلم مدرب مسبقًا بشكل مناسب وذو أداء مناسب، أو قد يرغب عالم البيانات في تكييف شبكة المعلم مع حالة الاستخدام الخاصة به. تهدف مخططات الاستخلاص المباشر إلى تدريب شبكات المعلمين والطلاب في وقت واحد.

على سبيل المثال ، اقترح Cioppa وآخرون مخطط استخلاص مباشر لنماذج التجزئة الدلالية المستخدمة في الأحداث الرياضية الحية، حيث قد تتغير الظروف المرئية طوال المباراة. كان يهدف إلى التحايل على المفاضلة بين سرعة الشبكة الأصغر ودقة الشبكة الأكبر من خلال التدريب المستمر لنموذج بطيء وجيد الأداء على بيانات المطابقة الحية مع استخلاص معرفة هذا النموذج الأكبر في نفس الوقت في نموذج أصغر وأسرع نُشر لتوليد المخرجات في الوقت الفعلي.⁶

في الاستخلاص الذاتي، تعمل شبكة واحدة كمعلم وطالب. في حين أن استخلاص المعرفة التقليدي يستلزم نقل المعرفة من نموذج إلى آخر، يمكن فهم الاستخلاص الذاتي على أنه نقل المعرفة من الطبقات العميقة للشبكة إلى الطبقات السطحية لنفس الشبكة.⁷

في الاستخلاص الذاتي، يتم إضافة عدة "مصنفات سطحية" مبنية على الانتباه إلى الطبقات الوسيطة للنموذج بأعماق متفاوتة. خلال التدريب، تعمل المصنفات الأعمق كنموذج للمعلم وتوجه تدريب الوحدات الأخرى القائمة على الانتباه من خلال نوعين من خسائر الاستخلاص: خسارة مقياس تباعد كولباك-ليبلر (KL) على المخرجات، وخسارة تنظيم L2 على خرائط السمات.

بعد تدريب النموذج وجاهزيته للاستدلال، يتم إسقاط كل هذه المصنفات السطحية من النموذج. يتيح ذلك بشكل أساسي أن يكون النموذج أكبر حجمًا ويتمتع بقدرة أكبر على التعرف على الأنماط أثناء التدريب، ولكن بعد ذلك يكون أصغر حجمًا وبالتالي أسرع وأكثر كفاءة عند النشر.

مع ظهور النماذج اللغوية الكبيرة، برز استخلاص المعرفة كوسيلة مهمة لنقل القدرات المتقدمة للنماذج الكبيرة، والتي غالبًا ما تكون مملوكة إلى نماذج أصغر، وغالبًا ما تكون مفتوحة المصدر. على هذا النحو، فقد أصبح أداة مهمة في تعميم الذكاء الاصطناعي التوليدي.

في معظم الحالات، تكون النماذج اللغوية الكبيرة ذات القدرات الأعلى مكلفة للغاية وتتطلب الكثير من المتطلبات الحاسوبية بحيث لا يمكن للعديد من المستخدمين المحتملين مثل الهواة أو الشركات الناشئة أو المؤسسات البحثية الوصول إليها. علاوةً على ذلك، بالرغم من أدائها المتقدم وقدراتها الفريدة، فإن النماذج اللغوية الكبيرة الاحتكارية بطبيعتها لا يمكن تصميمها لتناسب التطبيقات المتخصصة وحالات الاستخدام المحددة.

علاوة على ذلك، فإن معظم النماذج اللغوية الكبيرة القابلة للتطبيق تجاريًا كبيرة جدًا وتتطلب الكثير من العمليات الحاسوبية بحيث لا يمكن استخدامها محليًا على الهواتف المحمولة أو أجهزة الحافة الأخرى. يقدم هذا العديد من التعقيدات اللوجستية والحاسوبية وتعقيدات الخصوصية التي كان من الممكن التحايل عليها لولا ذلك باستخدام نموذج أصغر يمكن تشغيله مباشرةً على الأجهزة المحمولة. وبالتالي، يقدم ضغط نماذج استخلاص المعرفة وسيلة واعدة لنقل الصفات الناشئة للنماذج الكبيرة إلى نماذج صغيرة بما يكفي لتشغيلها على الجهاز.

الاستخدامات الشائعة الأخرى لاستخلاص المعرفة للنماذج اللغوية الكبيرة تشمل:

• جعل النماذج اللغوية الكبيرة متعددة اللغات، مثل استخدام نماذج معلم متعددة—يختص كل منها بلغة منفصلة—لنقل المعرفة اللغوية إلى نموذج طالب واحد⁸ أو عن طريق التدريب المشترك للنماذج بلغات منفصلة لتوليد تضمينات متشابهة للجملة نفسها.⁹
  
  
• استخدام نماذج لغوية كبيرة مملوكة لإنشاء مجموعات بيانات لضبط التعليم لنماذج أصغر. على سبيل المثال، نموذج Orca من Microsoft "تعلم من الإشارات الغنية من GPT-4 بما في ذلك آثار الشرح وعمليات التفكير خطوة بخطوة وغيرها من التعليمات المعقدة". ¹⁰
  
  
• استخدام نموذج معلم لترتيب مخرجات نموذج الطال، واستخلاص تفضيلاته وإعدادات توافقه من خلال تنويع للتعلم المعزز من التعليقات البشرية (RLHF) يسمى التعلم المعزز من تعليقات الذكاء الاصطناعي (RLAIF).¹¹