قواعد بيانات المتجهات تخدم ثلاث وظائف رئيسية في تطبيقات الذكاء الاصطناعي والتعلم الآلي:

• تخزين المتجهات
• فهرسة المتجهات
• البحث عن التشابه بناءً على الاستعلام أو المطالبة

عند التشغيل، تعمل قواعد بيانات المتجهات باستخدام خوارزميات متعددة لإجراء بحث عن الجار الأقرب التقريبي (ANN). ثم يتم بعد ذلك تجميع الخوارزميات في مسار لاسترجاع وتسليم البيانات المجاورة للمتجه الذي يجري الاستعلام عنه بسرعة ودقة.

فمثلاً، يمكن أن يؤدي بحث ANN إلى البحث عن المنتجات المتشابهة بصريًّا في كتالوج التجارة الإلكترونية. تتضمن الاستخدامات الإضافية اكتشاف حالات الخلل غير الطبيعي والتصنيف والبحث الدلالي. ولأن مجموعة البيانات تعمل من خلال النموذج مرة واحدة فقط، يتم إرجاع النتائج في أجزاء من الثانية.

تقوم قواعد بيانات المتجهات بتخزين مخرجات إحدى خوارزميات نموذج التضمين، وهي تضمينات المتجهات. كما تقوم أيضًا بتخزين البيانات الوصفية لكل متجه، بما في ذلك العنوان والوصف ونوع البيانات، والتي يمكن الاستعلام عنها باستخدام عوامل تصفية البيانات الوصفية.

ومن خلال استيعاب وتخزين هذه التضمينات، يمكن لقاعدة البيانات تسهيل الاسترجاع السريع للبحث عن التشابه، ومطابقة مطالبة المستخدم مع تضمين متجه مشابه. 

تحتاج المتجهات إلى فهرستها لتسريع عمليات البحث في مساحات البيانات عالية الأبعاد. حيث تنشئ قواعد بيانات المتجهات فهارس على تضمينات المتجهات لخدمة وظائف البحث.

تقوم قاعدة بيانات المتجهات بفهرسة المتجهات باستخدام إحدى خوارزميات التعلم الآلي. ثم تقوم الفهرسة بربط المتجهات بهياكل بيانات جديدة تمكِّن عمليات بحث أسرع عن التشابه أو المسافة، مثل عمليات البحث عن الجار الأقرب، بين المتجهات.

يمكن فهرسة المتجهات باستخدام خوارزميات مثل خوارزمية HNSW (عالم صغير هرمي يمكن التنقل فيه)، أو خوارزمية LSH (التجزئة الحساسة للمكان) أو خوارزمية PQ (التمثيل الكمّي للمنتج).

• خوارزمية HNSW تحظى بشهرة كبيرة لأنها تنشئ بنية تشبه الشجرة. حيث تعرض كل عقدة من الشجرة مجموعة من المتجهات كاملة مع تسلسلات هرمية في كل منها. وتظهر أوجه الشبه بين المتجهات عند الحواف بين العُقد.
  
  
• خوارزمية LSH تقوم بفهرسة المحتوى باستخدام البحث التقريبي لأقرب جار. ولتحقيق سرعة إضافية، يمكن تحسين الفهرس من خلال إرجاع نتيجة تقريبية، لكن غير شاملة.
  
  
• خوارزمية PQ تقوم بتحويل كل مجموعة بيانات إلى تمثيل قصير وذي كفاءة من ناحية الذاكرة. يتم تخزين التمثيلات القصيرة فقط، وليس كل المتجهات.

تُعد متجهات الاستعلام تمثيلات متجهات لاستعلامات البحث. عندما يقوم المستخدم بالاستعلام أو المطالبة بنموذج الذكاء الاصطناعي، يقوم النموذج بحساب تضمين الاستعلام أو المطالبة. ثم تقوم قاعدة البيانات بحساب المسافات بين متجهات الاستعلام والمتجهات المخزنة في الفهرس لإرجاع النتائج المتشابهة.

يمكن لقواعد البيانات قياس المسافة بين المتجهات باستخدام خوارزميات مختلفة، مثل خوارزمية البحث عن الجار الأقرب. كما أن القياسات تعتمد أيضًا على مقاييس تشابه متنوعة، مثل تشابه جيب التمام.

حيث تقوم قاعدة البيانات بإرجاع المتجهات الأكثر تشابهًا أو أقرب الجيران لمتجه الاستعلام حسب درجة التشابه. وتدعم هذه العمليات الحسابية مهام التعلم الآلي المتنوعة، مثل أنظمة التوصية، والبحث الدلالي، والتعرف على الصور، وغيرها من مهام معالجة اللغة الطبيعية. 

تتاح للمؤسسات مجموعة كبيرة من الخيارات عند اختيار إحدى قدرات قواعد بيانات المتجهات. للعثور على ما يلبي احتياجات البيانات والذكاء الاصطناعي، تضع العديد من المؤسسات في حسبانها ما يلي:

• أنواع قواعد بيانات المتجهات
• التكامل مع إحدى منظومات البيانات
• عندما لا تكون فهرسة المتجهات في حالتها المثلى
• أدوات لإنشاء ونشر قواعد بيانات المتجهات

يوجد عدد قليل جدًّا من البدائل للاختيار من بينها.

• قواعد بيانات مستقلة ومملوكة وموجهة بالكامل مثل Pinecone.
  
  
• الحلول مفتوحة المصدر مثل Weaviate أو Milvus، والتي توفر واجهات RESTful API مدمجة ودعمًا للغات البرمجة  Python و Java.
  
  
• المنصات التي تم دمج قدرات قواعد بيانات المتجهات فيها، مثل IBM watsonx.data.
  
  
• قاعدة بيانات المتجهات والوظائف الإضافية الخاصة بالبحث في قاعدة البيانات مثل الوظيفة الإضافية pgvector مفتوحة المصدر الخاصة بنظام PostgreSQL، والتي توفر قدرات البحث عن تشابه المتجهات. بإمكان قاعدة بيانات متجهات SQL أن تجمع بين مزايا قاعدة بيانات SQL التقليدية وقوة قاعدة بيانات المتجهات.

لا ينبغي اعتبار قواعد بيانات المتجهات قدرات قائمة بذاتها، بل هي جزء من نظام أوسع للبيانات والذكاء الاصطناعي.

يقدم العديد منها واجهات برمجة تطبيقات أو وظائف إضافية أصلية أو يمكن دمجها مع قواعد البيانات. ولأن قواعد بيانات المتجهات مصممة لاستخدام بيانات المؤسسة لتحسين النماذج، يجب أن تتميز المؤسسات أيضًا بحوكمة وأمن ملائمَين للبيانات لضمان إمكانية الوثوق بالبيانات المستخدمة لتدريب النماذج اللغوية الكبيرة (LLM). 

علاوة على واجهات برمجة التطبيقات، يستخدم العديد من قواعد بيانات المتجهات حزم تطوير البرامج (SDK) حسب كل لغة برمجة، والتي يمكنها التحكم الكامل في واجهات برمجة التطبيقات. وبفضل استخدام حزم تطوير البرامج (SDK)، يجد المطورون التعامل مع البيانات في تطبيقاتهم أسهل غالبًا.

يُعدّ من الملائم تمامًأ استخدام مخزن متجهات وفهرس متجهات للتطبيقات التي تعتمد على حقائق أو الاستعلام المبني على حقائق، مثل استخراج معلومات محددة من مستندات معقدة. 

لكن طلب ملخص للموضوعات لن يعمل بشكل جيد مع فهرس المتجهات. في هذه الحالة، سوف يمر النموذج اللغوي الكبير (LLM) خلال كل السياقات المحتملة المختلفة حول هذا الموضوع ضمن البيانات.

وقد يكون أسرع خيار هو استخدام نوع مختلف من الفهرس، مثل فهرس القائمة بدلاً من فهرس المتجهات؛ لأن فهرس القائمة سيجلب العنصر الأول فورًا في كل قائمة.

لتحسين تطوير قاعدة بيانات المتجهات، يُعدّ LangChain إطار عمل تنسيق مفتوح المصدر لتطوير التطبيقات التي تستخدم النماذج اللغوية الكبيرة (LLM).

تعمل أدوات LangChain وواجهات برمجة التطبيقات المتوفرة في كل من المكتبات المستندة إلى Python و JavaScript على تبسيط عملية إنشاء التطبيقات المستندة إلى النماذج اللغوية الكبيرة (LLM)، مثل برامج روبوت المحادثة والوكلاء الافتراضيين.توفر LangChain عمليات تكامل لأكثر من 25 طريقة تضمين مختلفة، ولأكثر من 50 مخزن متجهات مختلفة (سواء أكانت مستضافة على خدمة سحابية أم محلية).

لتفعيل الذكاء الاصطناعي على مستوى المؤسسة، قد يتم إقران مستودع البيانات بقاعدة بيانات متجهات متكاملة. بإمكان المؤسسات توحيد، وتنسيق، وتجهيز التضمينات الموجَّهة بحيث تخدم تطبيقات الذكاء الاصطناعي التوليدي الخاصة بكل مؤسسة على نطاق واسع، وذلك عبر بياناتها الموثوق بها التي يتم التحكم فيها. يؤدي ذلك إلى تحسين أهمية أعباء عمل الذكاء الاصطناعي ودقتها لدى المؤسسة، بما في ذلك روبوتات المحادثة، وأنظمة التوصية المخصصة، وتطبيقات البحث عن تشابه الصور.

تتسم قواعد بيانات المتجهات بأن لها تطبيقات واسعة النطاق وآخذة في الزيادة. تتضمن بعض حالات الاستخدام الرئيسية ما يلي:

• التوليد المعزَّز بالاسترداد (RAG)
• الذكاء الاصطناعي الحواري
• محركات التوصية
• بحث المتجهات

التوليد المعزَّز بالاسترداد هو إطار عمل للذكاء الاصطناعي لتمكين نماذج اللغة الكبيرة (LLM) من استرداد الحقائق من قاعدة معارف خارجية. تعتبر قواعد بيانات المتجهات أساسية لدعم تطبيقات التوليد المعزَّز بالاسترداد.

تفضِّل الشركات بشكل متزايد استخدام التوليد المعزَّز بالاسترداد في سير عمل الذكاء الاصطناعي التوليدي لسرعة دخول منتجاته إلى السوق ونظرًا إلى استدلاله الفعال ومخرجاته الموثوق بها. ويُعدّ إطار العمل هذا مفيدًا بشكل خاص في بعض حالات الاستخدام، مثل خدمة العملاء، والموارد البشرية، وإدارة المواهب.

يساعد التوليد المعزَّز بالاسترداد على التأكد من أن النموذج مرتبط بالحقائق الأكثر حداثةً وموثوقيةً، وأن المستخدمين لديهم إمكانية الوصول إلى مصادر النموذج حتى يمكن التحقق من ادعاءاته. كما أن تثبيت نموذج اللغة الكبير (LLM) في البيانات الموثوق بها يساعد في تقليل هلوسة النماذج.

يستخدم التوليد المعزَّز بالاسترداد بيانات متجهات عالية الأبعاد لإثراء المطالبات وتزويدها بالمعلومات ذات الصلة اللغوية للتعلم في السياق من قِبَل نماذج الأساس. يتطلب التوليد المعزَّز بالاسترداد تخزينًا واسترجاعًا فعالاً خلال مرحلة الاستدلال التي تتعامل مع أكبر حجم من البيانات.

تتفوق قواعد بيانات المتجهات في فهرسة هذه المتجهات عالية الأبعاد وتخزينها واسترجاعها بكفاءة، وهو ما يوفر السرعة، والدقة، والأحجام اللازمة لتطبيقات مثل محركات التوصية وروبوتات المحادثة.

تساعد قواعد بيانات المتجهات، خاصةً عند استخدامها لتنفيذ أطر عمل التوليد المعزَّز بالاسترداد، في تحسين تفاعلات الوكيل الافتراضي من خلال تحسين قدرة الوكيل على تحليل قواعد المعارف ذات الصلة بكل دقة وكفاءة. يمكن للوكلاء تقديم إجابات سياقية عن استفسارات المستخدم في الوقت الفعلي، علاوة على مستندات المصدر وأرقام الصفحات كمرجع.

فمثلاً، يمكن لمواقع التجارة الإلكترونية استخدام المتجهات لتمثيل تفضيلات العملاء وخصائص المنتج؛ حيث إن هذا يمكّنهم من اقتراح عناصر مشابهة للمشتريات السابقة، بناءً على تشابه المتجهات، وهو ما يعزز تجربة المستخدم ويزيد من الاحتفاظ به كعميل دائم.

تُستخدم تقنية البحث هذه لاكتشاف العناصر أو نقاط البيانات المشابهة، والتي يتم تمثيلها عادةً كمتجهات، في مجموعات كبيرة. بإمكان بحث المتجهات التقاط العلاقات الدلالية بين العناصر، وهو ما يتيح المعالجة الفعالة من قِبَل نماذج التعلم الآلي وتطبيقات الذكاء الاصطناعي. 

وتتخذ عمليات البحث هذه أشكالاً عديدة.

• البحث الدلالي: لإجراء عمليات بحث استنادًا إلى المعنى أو سياق الاستعلام، وهو ما يتيح الحصول على نتائج أكثر دقةً وملاءمةً. ولأنه يمكن تمثيل كل من الكلمات والعبارات كمتجهات، فإن وظائف البحث الدلالي للمتجهات تفهم مقصود المستخدم بشكل أفضل من الكلمات الرئيسية العامة. 
  
  
• البحث عن التشابه وتطبيقاته: للبحث عن الصور، أو الصوت، أو الفيديو، أو البيانات النصية المشابهة لدعم التعرف المتقدم على الصور والكلام ومعالجة اللغة الطبيعية. يمكن فهرسة الصور والفيديو واسترجاعهما على أساس درجة التشابه.