تقنيات RAG
لقد أحدثت النماذج اللغوية الكبيرة (LLMs) التي تم إنشاؤها على نطاق واسع تحولًا في تطبيقات الذكاء الاصطناعي؛ ومع ذلك، لا تزال لها عيوب مختلفة لأن معرفتها ثابتة ويمكن أن تأتي فقط من بيانات التدريب الخاصة بها. هذه هي المرحلة التي يأتي فيها دور تقنية RAG.
تضيف تقنية RAG قوة إلى نماذج الذكاء الاصطناعي التوليدي من خلال استرجاع البيانات في الوقت الفعلي، ما يضمن أن تُنتج عملية الاسترجاع مخرجات أكثر دقة وفي الوقت المناسب. ومع ذلك، تأتي نماذج RAG بأشكال مختلفة، ومناسبة بشكل أساسي للتطبيقات المختلفة1.
في هذه المقالة، نستكشف تقنيات RAG المختلفة إلى جانب كيفية عملها ونقاط القوة والقيود الخاصة بكل نوع من أنواع RAG وإمكانية استخدامها في حالات الاستخدام المختلفة.
لتحسين الفاعلية والاستدامة الشاملة لنماذج RAG، تطورت أنظمة الاسترجاع من RAG البسيط إلى RAG المتقدم وRAG المعياري لمواجهة التحديات في الأداء والتكلفة والكفاءة. دعنا نستكشف كل نموذج من نماذج RAG بعمق.
تُعَد نماذج RAG البسيطة تطبيقًا أساسيًا للتوليد المعزز بالاسترجاع، حيث يتم استرجاع المعلومات وتوليد الاستجابات دون أي تحسينات أو تعليقات. في هذا الإعداد المباشر، يسترجع النظام البيانات ذات الصلة استنادًا إلى الاستعلام، ثم يتم إدخالها ببساطة إلى نموذج لغوي (مثل GPT) لتوليد الإجابة النهائية2.
كيف تعمل نماذج RAG البسيطة؟
تعتمد نماذج البسيطة على عملية مباشرة من ثلاث خطوات إلى حد ما للاسترجاع وإنشاء المحتوى. توضِّح الخطوات التالية آلية عملية الاسترجاع:
- ترميز الاستعلام: يتم تحويل الاستعلام الذي يُجريه المستخدم إلى متجه عالي الأبعاد باستخدام نموذج التضمين الذي يجسِّد المعنى الدلالي للاستعلام بأكمله.
- استرجاع المستندات: يتم إجراء بحث عن التشابه باستخدام هذا المتجه مقابل المستودعات عبر قواعد بيانات المتجهات، لاسترجاع أفضل N مستند ذي صلة بالاستعلام. يمكن بناء قاعدة المعرفة من مصادر بيانات منظمة وغير منظمة، مثل مجموعات البيانات المفتوحة أو مجموعات بيانات المؤسسة.
- توليد الاستجابة: يتم استخدام مصادر البيانات المسترجعة بعد ذلك كسياق إضافي داخل نموذج لغوي يعمل على توليف إجابة متسقة وغنية بالمعلومات مستندة إلى المعرفة الخارجية3، 4.
يوضِّح الشكل 1 العملية المكونة من ثلاث خطوات (الترميز والاسترجاع وتوليد الاستجابة) لآلية عمل نماذج RAG البسيطة.
تطبيقات RAG البسيط
يُعَد RAG البسيط هو الأنسب للسيناريوهات التي تكون فيها البساطة والسرعة وسهولة النشر أهم من الدقة والمرونة المتقدمة. فبساطة البنية تجعلها مثالية لبناء تطبيقات إثبات المفهوم وتمكين الاختبار السريع للأفكار دون الحاجة إلى إجراء تعديلات مرهقة على النموذج. على سبيل المثال، يمكن استخدامه بشكل فعَّال في:
أ. روبوتات المحادثة لدعم العملاء: التعامل مع سيناريوهات الإجابة عن الأسئلة المتكررة باستخدام استجابات النماذج اللغوية الكبيرة.
ب. التلخيص واسترجاع المعلومات: توفير مستوى أساسي من التلخيص باستخدام تقنيات معالجة اللغة الطبيعية.
ج. أنظمة الذكاء الاصطناعي للمؤسسات: استرجاع البيانات ذات الصلة بسرعة من المستودعات للإجابة عن الاستفسارات الشائعة.
على الرغم من أن RAG الساذج بسيط وسريع، فإن RAG المتقدم يوفر مرونة وقابلية للتوسع والأداء بشكل أكبر، ما يجعله مناسبًا للتطبيقات المعقدة والواقعية.
دعنا نفهم ماهية RAG المتقدم وما الخدمات الرئيسية التي يقدِّمها.
يجمع RAG المتقدم بين قوة الاسترجاع الأفضل والتوليد المحسَّن من خلال استخدام خوارزميات متطورة تشمل أفكارًا مثل أدوات إعادة الترتيب، والنماذج اللغوية الكبيرة المضبوطة بدقة، وحلقات التعليقات. تؤدي هذه التحسينات إلى رفع مستويات الدقة والقدرة على التكيف والأداء، ما يجعل هذه النماذج الخيار الأفضل للتطبيقات الأكثر تعقيدًا والمستخدمة في بيئات الإنتاج5.
كيف يعمل RAG المتقدم؟
يعمل RAG المتقدم كعملية تعتمد على خطوات متسلسلة على النحو التالي:
1. معالجة الاستعلام: عند استقبال استعلام المستخدم، يتم تحويله إلى متجه عالي الأبعاد باستخدام نموذج التضمين الذي يلتقط المعنى الدلالي للاستعلام.
2. استرجاع المستندات: يتنقل الاستعلام المشفر عبر قاعدة بيانات معرفية ضخمة توفِّر استرجاعًا هجينًا باستخدام كلٍّ من البحث المتجه الكثيف والاسترجاع المتناثر، أي التشابه الدلالي والبحث القائم على الكلمات الرئيسية. وبالتالي، تعمل النتائج على إدخال تطابقات الكلمات الرئيسية الدلالية في المستندات التي تم استرجاعها.
3. إعادة ترتيب المستندات التي تم استرجاعها: يقدِّم نظام الاسترجاع نتيجة نهائية استنادًا إلى السياق وبناءً على صلته بالاستعلام أثناء استرجاع المستندات.
4. الدمج السياقي للتوليد: نظرًا لأن كل مستند يتم ترميزه بشكل مختلف، فإن وحدة فك الترميز تدمج جميع السياقات المشفرة لضمان أن الاستجابات التي تم إنشاؤها تتوافق مع الاستعلام المشفر.
5. توليد الاستجابة: يوفر المولِّد في نظام RAG المتقدم، والذي عادةً ما يكون نموذجًا لغويًا كبيرًا، مثل نموذج IBM® Granite أو Llama، الإجابة بناءً على المستندات لتي تم استرجاعها.
6. التعليقات: يستخدم نموذج RAG المتقدم تقنيات متعددة مثل التعلم النشط، والتعلم المعزز، والتدريب المشترك بين المسترجِع والمولِّد لتحسين أدائه باستمرار. خلال هذه المرحلة، تحدث إشارات ضمنية مثل النقر على المستندات التي تم استرجاعها والتي تشير إلى مدى الصلة، ما يؤدي إلى توليد تعليقات تصحيحية صريحة تتضمن تعديلات أو تقييمات تُستخدم لاحقًا أثناء عملية التوليد. من ثم، على مر السنين، تعمل هذه الاستراتيجية على تحسين عمليات الاسترجاع وكذلك توليد الاستجابة بحيث يمكن إنتاج إجابات أكثر دقة وصلة6.
يوضِّح الشكل 2 العملية التدريجية لكيفية عمل RAG المتقدم.
تطبيق RAG المتقدم
يُعد RAG المتقدم بالغ المرونة في مجموعة واسعة من التطبيقات عبر مختلف الصناعات، بفضل قدرته على استرجاع المعلومات في الوقت الفعلي وتقديم استجابات ديناميكية دقيقة قائمة على السياق. تتنوع تطبيقاته ما بين تمكين خدمات العملاء وتوفير المعلومات ذات الصلة، ما يُسهم في تحسين عملية اتخاذ القرار وتعزيز تجارب التعلم المخصصة. التحسين في الاسترجاع والتوليد عبر RAG المتقدم يجعل استخدامه عمليًا للتطبيقات في الوقت الفعلي، إلا إن قابليته للتوسع وسهولة استخدامه لا تزال دون المستوى المطلوب لحالات الاستخدام على مستوى الإنتاج.
RAG المعياري هو البديل الأكثر تقدُّمًا من RAG، حيث يعمل استرجاع المعلومات والنموذج التوليدي في بنية خطية مفتوحة وقابلة للتركيب تشبه خط الأنابيب. يُتيح هذا النهج أداءً أفضل لمختلف حالات الاستخدام بفضل قابليته للتخصيص والتوسع.
من خلال تقسيم عملية RAG إلى وحدات مستقلة، يمكن تكييف كل عنصر وتصحيحه وتحسينه بشكل أفضل بشكل منفصل.الآن دعنا نرَ كيف تعمل نماذج RAG المعيارية في الواقع7.
1. معالجة استعلام المستخدم: الخطوة الأولى هي قيام المستخدم بتقديم استعلام، مثل: "ما الكتاب الأكثر رواجًا في السوق هذه الأيام؟" ثم تعمل وحدة معالجة الاستعلام على تحويل الإدخال الذي قد يتضمن إعادة صياغة الاستعلام وإزالة الغموض وإجراء تحليل دلالي لتوفير سياق أكثر استنارة قبل إدخاله للاسترجاع.
2. وحدة الاسترجاع: تعالج وحدة الاسترجاع الاستعلام على قاعدة بيانات المتجهات أو قاعدة المعارف للحصول على المستندات ذات الصلة. ثم تُجري الاسترجاع باستخدام نموذج التشابه القائم على التضمين.
3. وحدة التصفية والترتيب: تتم بعد ذلك تصفية المستندات المسترجَعة باستخدام البيانات الوصفية أو التكرار أو الصلة. ويعمل نموذج إعادة الترتيب على تسجيل المعلومات الأكثر فائدة وتحديد أولوياتها.
4. وحدة تعزيز السياق: تعمل هذه الوحدة على تغذية المعلومات المسترجعة بالرسوم البيانية المعرفية، وتضمين البيانات المنظمة القادمة من قواعد البيانات وواجهات برمجة التطبيقات وتطبيق ضغط الاسترجاع لتحقيق أفضل استرجاع للمحتوى.
5. توليد الاستجابة: يعالج النموذج اللغوي الكبير استعلام المستخدم إلى جانب السياق المسترجَع لتوليد استجابة متماسكة ودقيقة، ما يقلل من الهلوسة ويضمن الملاءمة.
6. وحدة ما بعد المعالجة: تضمن هذه الوحدة الدقة من خلال التدقيق في الحقائق، وتحسِّن سهولة القراءة من خلال التنسيق المنظم، وتعزز المصداقية من خلال إنشاء اقتباسات.
7. المخرجات وحلقة التعليقات: يتم تقديم المخرجات النهائية للاستجابة إلى المستخدم بينما يتم إنشاء حلقة تعليقات من تفاعله للمساعدة على تحسين أداء الاسترجاع والنموذج مع مرور الوقت.
يوضِّح الشكل 3 العملية التدريجية لكيفية عمل RAG المعياري.
تطبيقات RAG المعياري
يتناسب RAG المتقدم مع حالات الاستخدام التي تتطلب تخصيصًا كبيرًا للتطبيق، مثل تقنيات الاسترجاع والتصنيف المتخصصة في مجال محدد. تُعَد قابلية التوسع وقابلية الصيانة مهمة للتطبيقات التي تتضمن أنظمة واسعة النطاق وهناك تجارب مستمرة مع نماذج واستراتيجيات استرجاع مختلفة8.
على الرغم من أن نماذج RAG البسيطة سهلة وسريعة، فإن نماذج RAG المعيارية -الذي غالبًا ما يتم إنشاؤه باستخدام إطار العمل مثل LangChain- توفِّر المرونة وقابلية التوسع والأداء، ما يجعلها أكثر ملاءمة للتطبيق. يحسِّن RAG المتقدم الدقة من خلال استرجاع المعلومات المتخصصة بالسياق في الوقت الفعلي، ما يساعد على تقليل الأخطاء. يتكيف بشكل ديناميكي، مع دمج ملاحظات المستخدم عبر التعلم النشط والتعلم التعزيزي (RLHF). علاوةً على ذلك، فإنه يعزز المعرفة الخاصة بالمجال من خلال دمج قواعد البيانات المتخصصة. كما أنه يحسِّن نافذة سياق النموذج اللغوي الكبير عن طريق جلب البيانات الأكثر صلة فقط، وبالتالي تعزيز الكفاءة. ومع ذلك، تواجه أنظمة RAG المتقدم تحديات مثل ارتفاع متطلبات الحوسبة وزمن الانتقال بسبب عمليات الاسترجاع والتوليد على حد سواء. فهي تتطلب موارد كبيرة لإدارة قواعد معرفية واسعة النطاق وتنطوي على تنفيذ وصيانة معقدتين - خاصةً عند ضبط أدوات الاسترجاع ونماذج التصنيف ومولِّدات الاستجابة. هذا المجال هو المكان الذي تتألق فيه بنى RAG المعياري المطوَّرة باستخدام LangChain. يُتيح التصميم المعياري مرونة في التخصيص، ما يمكِّن من ضبط أو استبدال العناصر الفردية -مثل أدوات الاسترجاع والتصنيف والتوليد-بشكل مستقل. تعمل هذه الطريقة على تحسين قابلية الصيانة من خلال تسهيل تصحيح الأخطاء والتحديثات دون تعطيل النظام بأكمله. يتم تحقيق قابلية التوسع من خلال توزيع الوحدات النمطية عبر موارد مختلفة بينما تتم إدارة التكاليف من خلال تحسين عمليات الاسترجاع وتقليل استخدام النموذج اللغوي الكبير9 و 10.
يجري حالياً تطوير أنظمة الاسترجاع التي تستفيد من تقنيات هندسة المطالبات المتقدمة وطرق الضبط الدقيق لتعزيز نماذج RAG بهدف توليد محتوى عالي الدقة، لضمان أداء أفضل وقابلية توسُّع أعلى.
ستستمر التطورات المستقبلية في أساليب التوليد المعزز بالاسترجاع الذاتي (self-RAG)، ونماذج الذكاء الاصطناعي متعددة الوسائط، وتحسين المقاييس في تحسين عملية الاسترجاع، بما يضمن معالجة أفضل للسياق الإضافي في التفاعلات باللغة الطبيعية.
الحواشي السفلية:
1. Gao, Y., Zhang, Z., Peng, M., Wang, J., & Huang, J. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv preprint arXiv:2312.10997.
2. Wu, S., Wang, D., Lin, Z., Yang, Y., Li, H., & Li, Z. (2024). Retrieval-Augmented Generation for Natural Language Processing: A Survey. arXiv preprint arXiv:2407.13193.
3. Huang, Y., & Huang, J. (2024). A Survey on Retrieval-Augmented Text Generation for Large Language Models. arXiv preprint arXiv:2404.10981.
4. Li, S., Stenzel, L., Eickhoff, C., & Bahrainian, S. A. (2025). Enhancing Retrieval-Augmented Generation: A Study of Best Practices. Proceedings of the 31st International Conference on Computational Linguistics, 6705–6717.
5. Sakar, T., & Emekci, H. (2024). Maximizing RAG Efficiency: A Comparative Analysis of RAG Methods. Natural Language Processing, 1–15.
6. Su, W., Tang, Y., Ai, Q., Wu, Z., & Liu, Y. (2024). DRAGIN: Dynamic Retrieval Augmented Generation based on the Information Needs of Large Language Models. arXiv preprint arXiv:2403.10081.
7. Gao, Y., Xiong, Y., Wang, M., & Wang, H. (2024). Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks. arXiv preprint arXiv:2407.21059.
8. Shi, Y., Zi, X., Shi, Z., Zhang, H., Wu, Q., & Xu, M. (2024). Enhancing Retrieval and Managing Retrieval: A Four-Module Synergy for Improved Quality and Efficiency in RAG Systems. arXiv preprint arXiv:2407.10670.
9. Zhu, Y., Yang, X., Zhang, C., & Dou, Z. (2024). Future Trends and Research Directions in Retrieval-Augmented Generation. Computational Intelligence and Neuroscience, 2024, 1–15.
10. Atos. 2024. A Practical Blueprint for Implementing Generative AI Retrieval-Augmented Generation. Atos. تم الوصول إليه في 12 فبراير 2025.
تدريب الذكاء الاصطناعي التوليدي والتحقق من صحته وضبطه ونشره، وكذلك قدرات نماذج الأساس والتعلم الآلي باستخدام IBM watsonx.ai، وهو استوديو الجيل التالي من المؤسسات لمنشئي الذكاء الاصطناعي. أنشئ تطبيقات الذكاء الاصطناعي بسرعة أكبر وببيانات أقل.
استفد من الذكاء الاصطناعي في عملك بالاستعانة بخبرة IBM الرائدة في مجال الذكاء الاصطناعي ومحفظة حلولها المتوفرة لك.
أعدّ ابتكار عمليات ومهام سير العمل الحساسة بإضافة الذكاء الاصطناعي لتعزيز التجارب وصنع القرارات في الوقت الفعلي والقيمة التجارية.