ما المقصود بالتوليد المعزَّز بالاسترجاع (RAG)؟

يتم تدريب نماذج الذكاء الاصطناعي التوليدي على مجموعات بيانات كبيرة وتستند إلى هذه المعلومات لتوليد المخرجات. ومع ذلك، فإن مجموعات بيانات التدريب محدودة وتقتصر على المعلومات التي يمكن لمطوِّر الذكاء الاصطناعي الوصول إليها، مثل الأعمال المتاحة في المجال العام، ومقالات الإنترنت، ومحتوى وسائل التواصل الاجتماعي، وغيرها من البيانات المتاحة للجمهور.

يتيح RAG لنماذج الذكاء الاصطناعي التوليدي الوصول إلى قواعد معرفة خارجية إضافية، مثل بيانات المؤسسة الداخلية والمجلات العلمية ومجموعات البيانات المتخصصة. من خلال دمج المعلومات ذات الصلة في عملية التوليد، تستطيع روبوتات المحادثة وأدوات معالجة اللغة الطبيعية (NLP) الأخرى إنشاء محتوى أكثر دقة متخصص في المجال دون الحاجة إلى تدريب إضافي.

يُتيح RAG للمؤسسات تجنُّب تكاليف إعادة التدريب العالية عند تكييف نماذج الذكاء الاصطناعي التوليدي لحالات استخدام محددة في المجال. يمكن للمؤسسات استخدام RAG لسد الفجوات في قاعدة معرفة نموذج التعلم الآلي بحيث يتمكن من تقديم إجابات أفضل.

تتضمن الفوائد الأساسية للتوليد المعزز بالاسترجاع (RAG) ما يلي:

• تنفيذ الذكاء الاصطناعي بكفاءة من حيث التكلفة وتوسيع نطاقه.

• الوصول إلى البيانات الحالية الخاصة بالمجال.

• انخفاض خطر هلوسة الذكاء الاصطناعي.

• زيادة ثقة المستخدم.

• حالات الاستخدام الموسعة.

• زيادة قدرة المطور على التحكم وصيانة النموذج.

• تعزيز أمن البيانات.

عند تطبيق الذكاء الاصطناعي، تختار معظم المؤسسات أولًا نموذج أساس: وهو عبارة عن نماذج التعلّم العميق التي تشكِّل الأساس لتطوير نسخ أكثر تقدُّمًا. عادةً ما تحتوي نماذج الأساس على قواعد معرفة عامة مبنية على بيانات تدريب متاحة للعامة، مثل محتوى الإنترنت المتوفر وقت التدريب.

تُعَد إعادة تدريب نموذج أساس أو تخصيصه بدقة -حيث يتم تدريب نموذج الأساس على بيانات جديدة ضمن مجموعة بيانات أصغر ومتخصصة في مجال معين- عملية مكلِّفة حسابيًا ومرهقة للموارد. يعدِّل النموذج بعض معاييره أو جميعها لضبط أدائه وفقًا للبيانات المتخصصة الجديدة.

باستخدام RAG، يمكن للمؤسسات استخدام مصادر بيانات داخلية موثوق بها والحصول على زيادات مماثلة في أداء النموذج دون إعادة التدريب. يمكن للمؤسسات توسيع نطاق تنفيذ تطبيقات الذكاء الاصطناعي حسب الحاجة مع التخفيف من زيادة التكلفة ومتطلبات الموارد.

تمتلك نماذج الذكاء الاصطناعي التوليدي حد المعرفة، وهو النقطة التي تم عندها تحديث بيانات التدريب آخر مرة. وكلما تقدَّم عمر النموذج بعد حد المعرفة الخاص به، فقدت نتائجه صلتها بمرور الوقت. تربط أنظمة RAG النماذج ببيانات خارجية إضافية في الوقت الفعلي، وتدمج المعلومات المحدَّثة في الاستجابات التي تم إنشاؤها.

تستخدم المؤسسات RAG لتزويد النماذج بمعلومات محددة مثل بيانات العملاء الخاصة والأبحاث الموثوق بها والمستندات ذات الصلة الأخرى.

يمكن لنماذج RAG أيضًا الاتصال بالإنترنت باستخدام واجهة برمجة التطبيقات (APIs) والحصول على إمكانية الوصول إلى موجزات وسائل التواصل الاجتماعي في الوقت الفعلي والتقييمات لفهم مشاعر السوق بشكل أفضل. وفي الوقت نفسه، يمكن أن يؤدي الوصول إلى الأخبار العاجلة ومحركات البحث إلى استجابات أكثر دقة حيث تدمج النماذج المعلومات المستردة في عملية إنشاء النص.

تعمل نماذج الذكاء الاصطناعي التوليدي مثل GPT من OpenAI عن طريق اكتشاف الأنماط في بياناتها، ثم استخدام هذه الأنماط لتوقُّع النتائج الأكثر احتمالًا لمدخلات المستخدم. في بعض الأحيان تكتشِف النماذج أنماطًا غير موجودة. تحدث الهلوسة أو الخلط عندما تقدِّم النماذج معلومات غير صحيحة أو مختلقة كما لو كانت واقعية.

يربط RAG نماذج LLM بمعرفة محددة مدعومة ببيانات واقعية وموثوق بها وحديثة. بالمقارنة مع النموذج التوليدي الذي يعمل فقط على بيانات التدريب الخاصة به، تميل نماذج RAG إلى تقديم إجابات أكثر دقة في سياقات بياناتها الخارجية. على الرغم من أن RAG يمكن أن يقلل من خطر الهلوسة، فإنه لا يستطيع جَعْل النموذج خاليًا من الأخطاء.

تُعَد روبوتات المحادثة أحد تطبيقات الذكاء الاصطناعي التوليدي الشائعة، وهي تجيب عن الأسئلة التي يطرحها المستخدمون. وكي يكون روبوت المحادثة مثل ChatGPT ناجحًا، يجب أن يعتبر المستخدمون مخرجاته موثوقًا بها. يمكن أن تتضمن نماذج RAG اقتباسات لمصادر المعرفة في بياناتها الخارجية كجزء من استجاباتها.

عندما تستشهد نماذج RAG بمصادرها، يمكن للمستخدمين البشريين التحقق من تلك المخرجات للتأكد من دقتها مع الرجوع إلى الأعمال المقتبسة لمتابعة التوضيحات والمعلومات الإضافية. غالبًا ما يكون تخزين البيانات في الشركات عبارة عن متاهة معقدة ومعزولة. تُتيح استجابات RAG مع الاستشهادات توجيه المستخدمين مباشرةً إلى المواد التي يحتاجونها.

يعني الوصول إلى مزيد من البيانات أن النموذج الواحد يمكنه التعامل مع مجموعة أوسع من المطالبات. يمكن للمؤسسات تحسين النماذج والحصول على قيمة أكبر منها عبر توسيع قواعد معرفتها، ما يوسِّع بدوره السياقات التي تُنتج فيها هذه النماذج نتائج موثوقًا بها.

من خلال دمج الذكاء الاصطناعي التوليدي مع أنظمة الاسترجاع، تستطيع نماذج RAG استرجاع المعلومات ودمجها من مصادر بيانات متعددة استجابةً للاستفسارات المعقدة.

تعالج المؤسسات الحديثة باستمرار كميات هائلة من البيانات، بدءًا من طلبات العملاء إلى توقعات السوق ومعدلات دوران الموظفين وغيرها. يُعَد بناء مسار البيانات وتخزين البيانات بشكل فعَّال أمرًا بالغ الأهمية لتنفيذ RAG بنجاح.

في الوقت نفسه، يمكن للمطورين وعلماء البيانات تعديل مصادر البيانات التي يمكن للنماذج الوصول إليها في أي وقت. وبالتالي يصبح نقل نموذج من مهمة إلى أخرى مسألة تعديل مصادر معرفته الخارجية بدلًا من تخصيصه بدقة أو إعادة تدريبه. إذا كانت هناك حاجة إلى الضبط الدقيق، يمكن للمطورين إعطاء الأولوية لهذا العمل بدلًا من إدارة مصادر بيانات النموذج.

نظرًا لأن التوليد المعزز بالاسترجاع (RAG) يربط النموذج بمصادر معرفة خارجية بدلًا من دمج تلك المعرفة في بيانات تدريب النموذج، فإنه يحافظ على الفصل بين النموذج وتلك المعرفة الخارجية. يمكن للمؤسسات استخدام RAG للحفاظ على بياناتها الداخلية مع السماح للنماذج بالوصول إليها في الوقت نفسه، مع إمكانية سحب هذا الوصول في أي وقت.

ومع ذلك، يجب على المؤسسات توخي الحذر للحفاظ على أمان قواعد البيانات الخارجية نفسها. يستخدم RAG قواعد بيانات المتجهات، والتي تستفيد من التضمينات لتحويل نقاط البيانات إلى تمثيلات عددية. إذا تم اختراق قواعد البيانات هذه، يمكن للمهاجمين عكس عملية تضمين المتجهات والوصول إلى البيانات الأصلية، خاصةً إذا كانت قاعدة بيانات المتجهات غير مشفّرة.

تمكِّن أنظمة RAG المستخدمين بشكل أساسي من الاستعلام عن قواعد البيانات باستخدام اللغة الحوارية. تم تطبيق قدرات أنظمة RAG في الإجابة عن الأسئلة المدعومة بالبيانات على مجموعة واسعة من حالات الاستخدام، بما في ذلك:

• روبوتات المحادثة المتخصصة والمساعدون الافتراضيون
   

• البحث
   

• توليد المحتوى
   

• تحليل السوق وتطوير المنتجات
   

• محركات المعرفة
   

• خدمات التوصية

قد تكتشف المؤسسات التي تريد أتمتة دعم العملاء أن نماذج الذكاء الاصطناعي الخاصة بها تفتقر إلى المعرفة المتخصصة اللازمة لمساعدة العملاء بشكل كافٍ. تربط أنظمة RAG للذكاء الاصطناعي النماذج بالبيانات الداخلية لتزويد روبوتات المحادثة لدعم العملاء بأحدث المعلومات حول منتجات الشركة وخدماتها وسياساتها.

ينطبق المبدأ نفسه على الشخصيات الافتراضية والمساعدين الشخصيين المستندين إلى الذكاء الاصطناعي. يوفر ربط نموذج الأساس ببيانات المستخدم الشخصية والرجوع إلى التفاعلات السابقة تجربة مستخدم أكثر تخصيصًا.

بفضل قدرتها على قراءة المستندات الداخلية والتفاعل مع محركات البحث، تتفوّق نماذج RAG في البحث والتحليل. يمكن للمحللين الماليين إعداد تقارير مخصصة للعملاء تحتوي على معلومات محدَّثة حول السوق والنشاط الاستثماري السابق، بينما يمكن للمهنيين الطبيين التعامل مع سجلات المرضى والمؤسسات.

يمكن أن تؤدي قدرة نماذج RAG على الاستشهاد بمصادر موثوق بها إلى إنشاء محتوى أكثر موثوقية. على الرغم من أن جميع نماذج الذكاء الاصطناعي التوليدي يمكن أن تهلوس، فإن RAG تسهِّل على المستخدمين التحقق من دقة المخرجات.

يمكن لقادة الأعمال الاطِّلاع على توجهات وسائل التواصل الاجتماعي، وأنشطة المنافسين، والأخبار العاجلة ذات الصلة بالقطاع، ومصادر الإنترنت الأخرى لتحسين اتخاذ قرارات الأعمال. وفي الوقت نفسه، يمكن لمديري المنتجات الرجوع إلى التعليقات وسلوكيات المستخدم عند التفكير في خيارات التطوير المستقبلية.

يمكن لأنظمة RAG تزويد الموظفين بمعلومات الشركة الداخلية. تُعَد عمليات الانضمام المبسَّطة، والدعم السريع من قسم الموارد البشرية، والإرشاد الفوري للموظفين في الميدان مجرد بعض الطرق التي يمكن للشركات من خلالها استخدام RAG لتحسين الأداء الوظيفي.

من خلال تحليل سلوك المستخدم السابق ومقارنته بالعروض الحالية، تمكِّن أنظمة RAG من تقديم خدمات توصية أكثر دقة. يمكن لكلٍّ من منصات التجارة الإلكترونية وخدمات توصيل المحتوى استخدام RAG للحفاظ على تفاعل العملاء وتشجيعهم على الإنفاق.

يعمل RAG عن طريق دمج نماذج استرجاع المعلومات مع نماذج الذكاء الاصطناعي التوليدي لإنتاج محتوى أكثر موثوقية. تستعلم أنظمة RAG من قاعدة المعرفة وتُضيف سياقًا إضافيًا إلى مطالبة المستخدم قبل توليد الاستجابة.

تستمد نماذج LLM القياسية المعلومات من مجموعات بيانات التدريب الخاصة بها. يضيف RAG عنصر استرجاع المعلومات إلى سير عمل الذكاء الاصطناعي، حيث يجمع المعلومات ذات الصلة ويُغذي بها نموذج الذكاء الاصطناعي التوليدي لتعزيز جودة الاستجابات وفائدتها.

تتَّبِع أنظمة RAG عملية مكوّنة من خمس مراحل:

1. يُرسِل المستخدم مطالبة.
    

2. يُجري نموذج استرجاع المعلومات استعلامًا في قاعدة المعرفة للحصول على البيانات ذات الصلة.
    

3. تتم إعادة المعلومات ذات الصلة من قاعدة المعرفة إلى طبقة التكامل.
    

4. يعمل نظام RAG على صياغة مطالبة معززة لنموذج LLM مع سياق محسَّن مأخوذ من البيانات التي تم استرجاعها.
    

5. يعمل نموذج LLM على توليد مخرجات وإعادتها إلى المستخدم.

تُظهر هذه العملية سبب تسمية RAG بهذا الاسم. يعمل نظام RAG على استرجاع البيانات من قاعدة المعرفة، وتعزيز المطالبة بسياق إضافي، وتوليد استجابة.

تحتوي أنظمة RAG على أربعة عناصر أساسية:

• قاعدة المعرفة: مستودع البيانات الخارجي للنظام.

• المسترجِع: نموذج ذكاء اصطناعي يبحث في قاعدة المعرفة عن البيانات ذات الصلة.

• طبقة التكامل: الجزء من بنية RAG الذي ينسِّق عملها بشكل عام.

• المولِّد: نموذج الذكاء الاصطناعي التوليدي الذي يُنشئ مخرجات بناءً على استعلام المستخدم والبيانات المسترجعة.

قد تتضمن العناصر الأخرى مصنِّفًا يعمل على ترتيب البيانات المسترجعة حسب الصلة، ومعالِج مخرجات ينسِّق الاستجابة التي تم توليدها للمستخدم.

المرحلة الأولى في بناء نظام RAG هي إنشاء قاعدة معرفة قابلة للاستعلام. يمكن أن يحتوي مستودع البيانات الخارجي على بيانات من مصادر لا حصر لها: ملفات PDF والمستندات والأدلة ومواقع الويب والملفات الصوتية وغيرها. سيكون الكثير من هذه البيانات غير منظم، ما يعني أنه لم يتم تصنيفها بعد.

تستخدم أنظمة RAG عملية تُسمَّى التضمين لتحويل البيانات إلى تمثيلات رقمية تُسمَّى المتجهات. يوجِّه نموذج التضمين البيانات في مساحة رياضية متعددة الأبعاد، ويرتِّب نقاط البيانات حسب التشابه. يتم وضع نقاط البيانات التي تُعَد أكثر ترابطًا معًا بشكل متقارب.

يجب تحديث قواعد المعرفة باستمرار للحفاظ على جودة نظام RAG وملاءمته.

تقتصر مدخلات نموذج LLM على نافذة السياق الخاصة بالنموذج، وهي الحد الأقصى للبيانات التي يستطيع معالجتها دون أن يفقد السياق. يساعد تقسيم المستند إلى أجزاء أصغر على ضمان ألا تتجاوز التضمينات الناتجة نافذة السياق الخاصة بنموذج LLM في نظام RAG.

حجم الجزء هو مَعلمة فائقة مهمة في نظام RAG. عندما تكون الأجزاء كبيرة جدًا، قد تصبح نقاط البيانات عامة للغاية ولا تتطابق مباشرةً مع استفسارات المستخدم المحتملة. ولكن إذا كانت الأجزاء صغيرة جدًا، فقد تفقد نقاط البيانات ترابطها الدلالي.

يؤدي توجيه البيانات إلى إعداد قاعدة المعرفة للبحث في المتجهات الدلالية، وهي تقنية تحدِّد النقاط في قاعدة البيانات المشابهة لاستعلام المستخدم. يمكن لخوارزميات التعلم الآلي للبحث الدلالي الاستعلام عن قواعد البيانات الضخمة وتحديد المعلومات ذات الصلة بسرعة، ما يقلل من زمن الانتقال مقارنةً بعمليات البحث التقليدية عن الكلمات الرئيسية.

يحوِّل نموذج استرجاع المعلومات استعلام المستخدم إلى تضمين ثم يبحث في قاعدة المعرفة عن تضمينات مماثلة. بعد ذلك، يتم عرض النتائج من قاعدة المعرفة.

طبقة التكامل هي مركز بنية RAG، وتعمل على تنسيق العمليات وتمرير البيانات عبر الشبكة. باستخدام البيانات المضافة من قاعدة المعرفة، يُنشئ نظام RAG مطالبة جديدة لعنصر LLM. تتكون هذه المطالبة من استعلام المستخدم الأصلي بالإضافة إلى السياق المحسَّن الذي تم إرجاعه بواسطة نموذج الاسترجاع.

تستخدم أنظمة RAG العديد من تقنيات هندسة المطالبات لأتمتة إنشاء المطالبة الفعَّالة ومساعدة LLM على إرجاع أفضل استجابة ممكنة. وفي الوقت نفسه، تعمل إطارات العمل مثل LangChain وLlamaIndex مفتوحة المصدر أو IBM watsonx Orchestrate على التحكم في الأداء العام لنظام الذكاء الاصطناعي.

يُنشئ المولِّد مخرجات تعتمد على المطالبة المعززة التي تم تغذيتها إليه بواسطة طبقة التكامل. تعمل المطالبة على دمج إدخال المستخدم مع البيانات المستردة وتطلب من المولِّد مراعاة هذه البيانات في استجابته. عادةً ما تكون المولِّدات نماذج لغوية مدرَّبة مسبقًا، مثل GPT أو Claude أو Llama.

يتمثَّل الفرق بين RAG والضبط الدقيق في أن RAG يسمح لنموذج LLM بالاستعلام عن مصدر بيانات خارجي بينما يدرِب الضبط الدقيق نموذج LLM على بيانات خاصة بالمجال. كلاهما لهما الهدف العام نفسه: تحسين أداء LLM في مجال محدد.

غالبًا ما يكون هناك تناقض بين RAG والضبط الدقيق ولكن يمكن استخدامهما معًا. يعمل الضبط الدقيق على زيادة إلمام النموذج بالمجال المقصود ومتطلبات الإخراج، بينما يساعد RAG النموذج على توليد مخرجات ذات صلة وعالية الجودة.