التخزين والاسترجاع

يتناول هذا القسم الأدوات والاعتبارات المتعلقة بتخزين واسترجاع قاعدة مستندات RAG. نتعامل مع الموضوعين معًا لأن تقنية التخزين تحدِّد آليات الاسترجاع المتاحة للاستعلام عن البيانات المخزَّنة واستعادتها.

IBM Watsonx Discovery: حل متكامل لبحث المؤسسات والتوليد المعزز بالاسترجاع (RAG)

تُعَد IBM Watsonx Discovery، المدعومة بواسطة IBM Cloud Databases for Elasticsearch، حلًا متكاملًا للمؤسسات تم تصميمه لدعم وتعزيز حالات استخدام البحث والتوليد المعزز بالاسترجاع (RAG). بفضل إمكاناتها القوية في البحث المتجهي والبحث الدلالي والبحث الموحَّد وغير ذلك، توفِّر Watsonx Discovery مجموعة غنية من الأدوات لبناء تطبيقات سياقية مدعومة بالذكاء الاصطناعي. كما تتكامل بسلاسة مع منصة الذكاء الاصطناعي الحواري من IBM، وهي Watsonx Assistant، ومع طبقات التنسيق مثل Watsonx Orchestrate لتقديم حلول أعمال متقدمة.

أسباب استخدام Watsonx Discovery مع Elasticsearch

تعتمد Watsonx Discovery على IBM Cloud Databases for Elasticsearch، ما يوفر بنية خلفية قوية ومرنة لإدارة احتياجات البحث على مستوى المؤسسة:

• المراقبة وفحوصات السلامة: باستخدام Elasticsearch، يحصل المطورون على إمكانية الوصول إلى أدوات شاملة للمراقبة وفحوصات السلامة لضمان تحسين التمثيلات المتجهية والبيانات الوصفية وحجم المقاطع وبنى المستندات. تُتيح واجهة Elasticsearch إدارة النظام وتوسيع نطاقه بسهولة، مع التركيز على تطوير التطبيقات بدلًا من المهام التشغيلية مثل النسخ الاحتياطي، وتسجيل السجلات، والمراقبة، والإعداد.

• قدرات البحث المتقدمة: يدعم Watsonx Discovery مجموعة متنوعة من خوارزميات البحث المتقدمة، مثل البحث الدلالي المتفرق والكثيف، والبحث مع فلترة البيانات الوصفية، والبحث المعجمي، والبحث باستخدام العوامل المنطقية (AND/OR/NOT/SLOP)، والبحث بالبادئة، والبحث التقريبي، والبحث الهجين. تُعَد هذه القدرات أساسية لحالات استخدام RAG المعقدة التي تتضمن استعلامات ومستندات معقدة. نفِّذ أنواع البحث المتقدمة الموضَّحة في دفتر الملاحظات هذا لتحسين عملية النشر الخاصة بك.

• التكامل مع أطر عمل النماذج اللغوية الكبيرة: يُتيح توافق Elasticsearch مع أطر عمل تنسيق النماذج اللغوية الكبيرة الشهيرة، مثل LangChain وLlamaIndex، تكاملًا مثاليًا مع Watsonx Discovery لدعم حلول RAG.

طرق البحث المدعومة في Watsonx Discovery

يُعَد Watsonx Discovery حلًا متعدد الاستخدامات يدعم مجموعة واسعة من منهجيات البحث:

• البحث بالكلمات المفتاحية
• البحث الدلالي
• بحث المتجهات
• البحث الهجين (دمج الترتيب العكسي)

يُعَد نموذج ELSER (Elastic Search Embeddings) نموذجًا جاهزًا رائدًا للتمثيلات المتجهية يُستخدم في البحث الدلالي، ما يُتيح البحث السياقي حتى دون الحاجة إلى قواعد بيانات متجهات مخصصة.

البحث الموحَّد

يدعم Watsonx Discovery البحث الموحَّد عبر عمليات النشر الحالية، ما يقلل الحاجة إلى تخزين البيانات المكررة وصيانتها. ويُتيح هذا البحث والاسترجاع على مستوى المؤسسة عبر عدة صوامع بيانات.

قدرات غنية لاستيراد البيانات والفهرسة

يبسِّط Watsonx Discovery عملية استخراج المحتوى والفهرسة من خلال مجموعة متكاملة من أدوات استيراد البيانات:

• استخراج المحتوى: يدعم مجموعة متنوعة من تنسيقات الملفات، بما في ذلك DOCX وPDF وPPTX، ما يؤدي إلى تسهيل اكتشاف وفهرسة المعلومات الحيوية للأعمال.
• التكامل مع الجهات الخارجية: الاتصال بمجموعة واسعة من مصادر البيانات باستخدام الموصِّلات الجاهزة، ما يُتيح التكامل السلس مع نظام بيانات المؤسسة.
• تحويل البيانات وإثراؤها: تنفيذ مسارات قوية لاستيراد البيانات لتحويلها وإثرائها، ما يضمن جاهزيتها للاسترجاع عالي الجودة واستخلاص الرؤى.

للمزيد من المعلومات، استكشِف الموارد التالية الخاصة بـ ElasticSearch لتسريع تطوير Watsonx Discovery:

• دفتر الملاحظات: استيراد الملفات من Watson Discovery، وإنشاء التمثيلات المتجهية، وتخزينها في قواعد بيانات Watsonx Discovery الخاصة بـ Elasticsearch.
• Elasticsearch: برامج تعليمية وأدلة شاملة
• Elasticsearch: الوثائق الرسمية

العروض المصورة المحسَّنة والبحث على مستوى المؤسسة

يتكامل Watsonx Discovery مع Kibana وEnterprise Search لتوفير استرجاع المعلومات والعروض المصورة المدعومة بالذكاء الاصطناعي والقابلة للتوسع، والمصممة خصيصًا لبيئات المؤسسات الكبيرة:

• Kibana لتصوُّر البيانات: إنشاء لوحات معلومات وعروض مصورة مخصصة استنادًا إلى البيانات المستوردة بواسطة Watsonx Discovery. يوفر تحليلات في الوقت الفعلي للمقاييس الرئيسية مثل استخراج الكيانات، وتحليل المشاعر، وتصنيف المستندات. يساعد ذلك على تتبُّع التوجهات والأنماط والحالات الشاذة في البيانات غير المنظمة، ما يؤدي إلى تسهيل عملية التحليل وتحسين اتخاذ القرار.

• البحث المؤسسي لاسترجاع البيانات بشكل قابل للتوسع: الاستفادة من تقنيات معالجة اللغة الطبيعية والبحث الدلالي لتمكين الاسترجاع السريع والدقيق عبر مصادر البيانات المنظمة وغير المنظمة. تخصيص وظيفة البحث لفهرسة واسترجاع البيانات من مصادر متعددة، بما في ذلك المستندات والبريد الإلكتروني وقواعد البيانات؛ لإنشاء تطبيقات بحث متخصصة بالمجال تتكامل مباشرةً مع مهام سير عمل الأعمال.

الخصوصية والأمن

يطبِّق Watsonx Discovery الدعم الأصلي للتحكم في الوصول القائم على الأدوار والسمات لتأمين الوصول إلى المحتوى وحماية خصوصية البيانات. ويضمن ذلك أن المعلومات الحساسة متاحة فقط للمستخدمين المصرَّح لهم، ما يحمي بيانات المؤسسة.

حالات الاستخدام: Watsonx Discovery وOrchestrate

يمكن دمج Watsonx Discovery مع Watsonx Orchestrate لتعزيز مهام سير العمل المؤتمتة من خلال استرجاع البيانات المستند إلى السياق. عندما يعمل Orchestrate على أتمتة عملية أعمال تتطلب رؤًى من البيانات غير المنظمة، فإنه يستفيد من Discovery لاسترجاع وتحليل المحتوى ذي الصلة، ما يمكِّنه من أداء مهام ذكية مثل:

• الرد على الاستفسارات بإجابات دقيقة ومدعومة بالبيانات.
• تنفيذ مهام سير العمل التي تعتمد على استرجاع البيانات وتحليلها في الوقت الفعلي.

IBM watsonx.data: مخزن بيانات حديث مع قدرات متكاملة لقاعدة بيانات المتجهات

تُعَد IBM watsonx.data منصة بيانات قوية مبنية على بنية مخزن بيانات مفتوح، تجمع بين مزايا كلٍّ من مستودعات البيانات وبحيرات البيانات. توفِّر نقطة دخول واحدة للوصول إلى جميع بياناتك عبر طبقة بيانات وصفية مشتركة ومفتوحة، ما يجعلها حلًا مثاليًا للمؤسسات التي تسعى إلى تبسيط إدارة بياناتها. مع دعمها لتنسيقات البيانات المفتوحة، وقدرات التضمين المتجهية المدمجة، وواجهة حوار مدعومة بالذكاء الاصطناعي التوليدي لاستخلاص الرؤى من البيانات، تعزز watsonx.data التحليلات في الوقت الفعلي وحالات استخدام الذكاء الاصطناعي. تتكامل المنصة بسلاسة مع قواعد البيانات والأدوات الحالية، مع تقديم خيارات نشر مرنة تشمل تكوينات البيئات السحابية والمحلية.

أحد العناصر الرئيسية في IBM watsonx.data هو watsonx.data Milvus، قاعدة بيانات متجهية مفتوحة المصدر مصممة خصيصًا لتخزين وإدارة ونقل بيانات المتجهات عالية الأبعاد مثل التضمينات المتجهية. تم تحسين قاعدة بيانات المتجهات هذه القابلة للتكوين بشكل كبير للفهرسة واسترجاع المتجهات بكفاءة، ما يجعلها مثالية لحالات الاستخدام التي تتطلب البحث عن التشابه بين المتجهات في تطبيقات الذكاء الاصطناعي. تُعَد Watsonx.data Milvus مفيدة بشكل خاص للعملاء الذين يستخدمون watsonx.ai ويحتاجون إلى تكامل سلس مع قدرات قواعد بيانات المتجهات، وكذلك لأولئك المهتمين بتنفيذ أطر عمل مفتوحة المصدر مثل LangChain، المستخدمة غالبًا في أنماط التوليد المعزز بالاسترجاع (RAG).

خيارات النشر

تتوفر IBM watsonx.data في ثلاثة خيارات نشر لتلبية الاحتياجات المتنوعة:

• برنامج كخدمة مُدارة بالكامل: متاح على IBM Cloud وAWS، ويوفر نهجًا خاليًا من التعقيد للإعداد والتوسيع.
• برنامج مُدار ذاتيًا مع الحاويات: مثالي للبيئات المحلية، ويستفيد من IBM Cloud Pak for Data وRed Hat OpenShift.
• نسخة مطوِّر بحجم صغير: مناسبة لبيئات التطوير باستخدام أجهزة افتراضية فردية أو أجهزة كمبيوتر محمول، ما يوفر المرونة للاختبار والنماذج الأولية محليًا.

بالنسبة إلى المؤسسات التي تريد الاستفادة من قواعد بيانات المتجهات، يدعم watsonx.data التكامل مع Milvus مفتوحة المصدر، ما يمكِّن من استخدام قدرات متقدمة مثل البحث عن التشابه بين المتجهات، وهو أمر أساسي لتطبيقات الذكاء الاصطناعي في الوقت الفعلي.

البدء

لبدء استخدام IBM watsonx.data، اختَر خيار النشر الذي يناسب متطلباتك:

• بالنسبة إلى النشر على IBM Cloud:
• زُر صفحة كتالوج IBM Cloud الخاصة بـ watsonx.data.
• اختَر الخطة التي تتوافق مع احتياجاتك.

• أنشئ مثيلًا (Instance).

• بالنسبة إلى النشر في البيئات المحلية:

• احصل على مفاتيح التنشيط الخاصة بـ IBM watsonx.data ضمن IBM Cloud Pak for Data.
• احصل على استحقاقات Red Hat OpenShift.
• اتَّبِع دليل النشر لتكوين البرنامج.

الوثائق والدعم

توفِّر IBM وثائق شاملة لمساعدتك على البدء مع كل من منصة watsonx.data الأساسية وقاعدة بيانات المتجهات Milvus:

• وثائق منتج IBM watsonx.data
• بدء استخدام IBM watsonx.data
• تثبيت IBM watsonx.data على Red Hat OpenShift في Cloud Pak for Data

من خلال الاستفادة من البنية المفتوحة لـ watsonx.data، وقدرات قاعدة بيانات المتجهات المدمجة، وميزات الذكاء الاصطناعي المتقدمة، يمكن للمؤسسات تحسين عمليات هندسة البيانات، وتعزيز التحليلات في الوقت الفعلي، واستخلاص رؤى جديدة عبر قدرات مدعومة بالذكاء الاصطناعي. تمكِّن هذه المنصة الموحَّدة الفِرق من العمل مع البيانات المنظمة وغير المنظمة بطرق مبتكرة، حيث تجمع بين التحليلات التقليدية وبحث التشابه المتجه المتقدم في حل واحد.

Watson Discovery

تُعَد IBM Watson Discovery أداة مصممة لاسترجاع وتحليل البيانات غير المنظمة. تتمثل ميزتها الرئيسية في البحث بالكلمات المفتاحية، الذي يمكِّن المستخدمين من البحث في مجموعات بيانات كبيرة باستخدام مصطلحات أو عبارات محددة. على عكس محركات البحث التقليدية التي تعتمد غالبًا على مطابقة النصوص، تستخدم Watson Discovery السياق وراء الكلمات المفتاحية لتقديم نتائج أكثر صلة وملاءمة.

من القدرات المهمة الأخرى في Watson Discovery استخراج الكيانات، أي أن الأداة يمكنها تلقائيًا استخراج المعلومات الأساسية مثل الأشخاص، والمواقع، والمؤسسات، والتواريخ من النصوص غير المنظمة. تعمل هذه العملية على هيكلة البيانات بحيث تصبح سهلة الاستخدام ويمكن دمجها مباشرةً في استجابات RAG.

LangChain

تتطلب العديد من تطبيقات النماذج اللغوية الكبيرة (LLM) بيانات مخصصة للمستخدم ليست جزءًا من مجموعة بيانات تدريب النموذج. وتتمثل الطريقة الأساسية لتحقيق ذلك في التوليد المعزز بالاسترجاع (RAG). في هذه العملية، يتم استرجاع البيانات الخارجية وتمريرها إلى النموذج اللغوي الكبير أثناء خطوة التوليد.

يدعم LangChain العديد من خوارزميات الاسترجاع المختلفة. يدعم LangChain الأساليب الأساسية مثل البحث الدلالي، ومع ذلك، فقد أضفنا أيضًا مجموعة من الخوارزميات على هذه الأساسيات لزيادة الأداء وتحسين النتائج. ويشمل ذلك ما يلي:

• Parent Document Retriever: تُتيح هذه الأداة إنشاء عدة تمثيلات متجهية لكل مستند رئيسي، ما يسمح بالبحث ضمن مقاطع أصغر مع إرجاع سياق أكبر.
• Self Query Retriever: غالبًا ما تحتوي أسئلة المستخدمين على إشارة إلى شيء لا يقتصر على الدلالة فقط، بل يعبر عن منطق يمكن تمثيله بشكل أفضل كفلتر بيانات وصفية. تمكِّنك ميزة الاستعلام الذاتي من فصل الجزء الدلالي من الاستعلام عن الفلاتر الوصفية الأخرى الموجودة ضمنه.
• Ensemble Retriever: أحيانًا قد تريد استرجاع المستندات من مصادر متعددة أو باستخدام خوارزميات مختلفة. تُتيح ميزة Ensemble Retriever القيام بذلك بسهولة.

قاعدة بيانات Milvus

تُعَد Milvus منصة ذكاء اصطناعي لأتمتة واستخراج البيانات المنظمة من المستندات غير المنظمة، وغالبًا ما يتم استخدامها مع Watsonx Discovery في بعض سيناريوهات الاسترجاع. تتكيف Milvus مع تنسيقات مختلفة، ما يجعلها مثالية لعمليات المعالجة واسعة النطاق. بالنسبة إلى مهندس الذكاء الاصطناعي، توفِّر حلًا قابلًا للتوسع يقلل من الجهد اليدوي في استخراج البيانات مع ضمان الدقة والكفاءة.

watsonx Discovery مقابل Milvus

تُعَد Milvus في الأساس قاعدة بيانات متجهات مصممة للبحث عن التشابه عبر مجموعات بيانات كبيرة، وتتفوق بشكل خاص في المتجهات عالية الأبعاد. من ناحية أخرى، تتخصص Watsonx Discovery في البحث الدلالي الحواري وفهم/معالجة المستندات، مع التركيز بشكل خاص على قدرات البحث الحواري والدلالي.

الوظيفة

توفِّر Milvus وظائف متقدمة مثل البحث بالمتجهات المتفرقة، والمتجهات الجماعية، والبحث باستخدام الفلاتر، والبحث الهجين. كما تتميز ببنية موزعة تسمح بالتوسع أفقيًا وعموديًا، ما يجعلها قابلة للتوسع بشكل كبير للتعامل مع مجموعات البيانات الكبيرة.

المزايا الرئيسية

التوسع

يمكن لمنصة Milvus معالجة بيانات المتجهات على نطاق واسع وتدعم عمليات عالية الأداء للبحث عن التشابه بين المتجهات، وهو أمر أساسي لحلول RAG التي تسترجع المعلومات من مجموعات بيانات ضخمة.

تكامل البيانات

تتكامل Milvus بسلاسة مع watsonx.data، ما يساعد على تبسيط إدارة البيانات لنماذج وتطبيقات الذكاء الاصطناعي. يمكِّن هذا المؤسسات من تنفيذ حالات استخدام RAG قابلة للتوسع عبر مجموعات بيانات كبيرة ومتحكم بها.

الميزات المتقدمة

تدعم Milvus ميزات متقدمة مثل فلترة البيانات الوصفية، ما يعزز صلة نتائج البحث ويحسِّن فاعلية نظام RAG.

الموارد

برامج تعليمية حول التوليد المعزز بالاسترجاع (RAG) من Milvus

استخدام LangChain Retrievers

أداة الاسترجاع مفتوحة المصدر (Retriever) مع LlamaIndex

التعامل مع التكرار، والأولوية، والتوزيع

يعمل مخزن المتجهات البسيط بشكل جيد مع حلول RAG البسيطة، لكنه يفشل بسرعة عندما توجد معلومات متعددة متشابهة داخل المستند (التشابه لا يعني الصلة)، أو عندما تكون المعلومات اللازمة للإجابة عن استعلام موزعة عبر عدة مستندات، أو موزعة عبر أقسام متعددة من المستند نفسه. فيما يلي بعض الأمثلة للتوضيح:

المثال 1

تدير مؤسسة مكاتب في عدة ولايات، ولكل منها سياسات الموارد البشرية الخاصة بها. تستخدم المؤسسة تنسيق مستندات مشتركًا لمعلومات الموارد البشرية عبر جميع مكاتبها. إذا قامت الشركة بتضمين سياسات الموارد البشرية في قاعدة بيانات متجهات، فستكون هناك عدة مقاطع، على سبيل المثال لطلبات الإجازات، مع نصوص داعمة مختلفة؛ ما يزيد احتمالية ظهور أخطاء غير دقيقة أو "هلوسات".

المثال 2

يحتوي عقد الخدمات على قاموس للمصطلحات المعرفة، والتي تتم كتابتها بأحرف كبيرة في جميع أنحاء العقد للإشارة إلى التعريف، مثل Lessor، وEvaluation Period، وغير ذلك. إن التحليل البسيط وتقسيم العقد من البداية إلى النهاية سيؤدي إلى إنتاج تفاعلات مثل:

الاستعلام: كم من الوقت يُسمح به لشركة Acme قبل أن تتم فوترة الخدمات بعد الانتهاء منها؟

الاستجابة: يُسمح للمشتري بفترة سماح تبلغ 10 أيام بعد فترة التقييم قبل أن تتم فوترة الخدمات.

مفيد، ولكنه يضمن ظهور استعلامات متابعة ويحتاج بعض الإضافات السريعة للوصول إلى إجابة أكثر اكتمالًا.

المثال 3

تنشر إحدى حكومات الولايات تعديلات على تشريعاتها على شكل "تعديلات" على القوانين الحالية. على سبيل المثال: "تم تعديل المادة 12.2 من قانون مكافحة المخدرات لاستثناء القنّب والمنتجات المرتبطة به". كيف ستحدِّد قاعدة بيانات المتجهات أن هذا المقطع من النص يجب أن تكون له الأسبقية على جميع المقاطع الأخرى المتعلقة بموضوع القنّب؟

التسلسلات الهرمية للمستندات

ينظِّم تسلسل المستندات مقاطع المستندات في فئات تجمع المستندات ذات الصلة معًا، وهو مماثل لجدول محتويات أو مجموعة مجلدات على جهاز الكمبيوتر. يُتيح استخدام التسلسل الهرمي للمستندات لحل RAG "تضييق نطاق" موضوع استعلام المستخدم بحيث يتم استرجاع المستندات الأكثر صلة فقط.

عند تطبيق هذا على مثال مستندات الموارد البشرية متعدد الولايات أعلاه، يمكن لتسلسل مستند مفيد تصنيف المستند حسب الولاية، ما يمكِّن حل RAG من استرجاع المقاطع ذات الصلة فقط بالولاية المحددة. كما هو موضَّح في الشكل أدناه، يمكن أن ينظم التسلسل الهرمي للمستندات أولًا حسب الدولة، ثم حسب الولاية / المقاطعة المعنية، ثم حسب مجالات السياسات أو الموضوعات. بالطبع، يعني هذا أن الحل سيحتاج لاستنتاج الولاية ذات الصلة من بيانات إقامة المستخدم، أو من خلال مطالبة المستخدم بتحديد الولاية المطلوبة.

التنفيذ

مخزن المتجهات الهجين

يمكن تنفيذ التسلسل الهرمي للمستندات في مخازن المتجهات الهجينة، وهي مخازن متجهات تدعم المخططات التي تتضمن أنواع بيانات رقمية وفئوية إلى جانب المتجهات، مثل Milvus، باستخدام حقول الفئة والفئة الفرعية كجزء من معايير البحث كما هو موضَّح في تعريف المخطط الخاص بـ Milvus أدناه.

chunk_id = FieldSchema(
  name="chunk_id",
  dtype=DataType.INT64,
  auto_id=True,
)
state_id = FieldSchema(
  name="state_id",
  dtype=DataType.INT64,  
)
chunk = FieldSchema(
  name="chunk",
  dtype=DataType.FLOAT_VECTOR,
  dim=2
)
schema = CollectionSchema(
  fields=[chunk_id, state_id, chunk],
  description="HR documents by state"
)

الرسومات البيانية المعرفية

تلتقط الرسوم البيانية المعرفية العلاقات بين الكيانات داخل مستند واحد أو عبر مستندات متعددة. على عكس البحث عن التشابه في قاعدة بيانات متجهات، يمكن للرسوم البيانية المعرفية استرجاع العلاقات والمحتوى ذي الصلة بدقة وثبات، ما يقلل بشكل كبير من حدوث الهلوسات. عند دمجها مع عمليات البحث عن التشابه في قواعد بيانات المتجهات، يمكن لقاعدة بيانات الرسوم تمكين حلول RAG من تجميع المحتوى ذي الصلة من داخل مستند واحد و/أو عبر مجموعة مستندات. تُظهر الصورة أدناه رسمًا بيانيًا معرفيًا محتملًا لعقد الخدمات.

على الرغم من أن أفضل رسم بياني معرفي لحل RAG هو الذي تتم صياغته وصيانته من قِبل البشر، فإن استخدام نموذج لغوي كبير (LLM) لتحليل الكيانات والعلاقات في مستند وإنشاء رسم بياني معرفي يُنتج نتائج جيدة بشكل مدهش.

التنفيذ

Neo4j

تُعَد Neo4j قاعدة بيانات رسومية مفتوحة المصدر شائعة (GPLv3). يوضِّح هذا البرنامج التعليمي كيفية تكوين وبرمجة حل RAG معزز برسم بياني معرفي باستخدام neo4j وLangChain.