قريباً في watsonx.data: تحويل البيانات غير المنظمة إلى سياق للذكاء الاصطناعي باستخدام OpenRAG
تحويل المعرفة المحبوسة في البيانات غير المنظمة إلى سياق ملموس للذكاء الاصطناعي. يوفر OpenRAG استرجاعاً وكيلياً آمناً للحصول على ذكاء اصطناعي أكثر دقة وموثوقية.
تقدم IBM إطار العمل OpenRAG، وهو إطار استرداد مفتوح ووكيل مصمم لتحويل المعرفة المؤسسية إلى سياق موثوق للذكاء الاصطناعي، بأمان ونطاق واسع. سيتوفر OpenRAG قريبًا على watsonx.data، منصة البيانات الهجينة والمفتوحة من IBM للوصول إلى البيانات الجاهزة للذكاء الاصطناعي وإعدادها وتقديمها.
تعتمد العديد من حلول التوليد المعزز بالاسترجاع (RAG) على دمج عمليات الاسترجاع، والتنسيق، والنماذج ضمن أنظمة مغلقة. مع OpenRAG، تحتفظ الفرق بالقدرة على التحكم في كيفية استيعاب البيانات واسترجاعها وتحليلها، دون التقيد بحزمة تكنولوجية تديرها جهة توريد واحدة.
يجمع OpenRAG ثلاثاً من أفضل التقنيات مفتوحة المصدر المتاحة في أساس واحد قابل للتركيب. وقد جمعت هذه الأدوات مجتمعةً أكثر من 200 ألف نجمة على GitHub وملايين التنزيلات:
- Docling لتحويل الملفات المعقدة إلى بيانات جاهزة للذكاء الاصطناعي
- OpenSearch للاسترجاع والبحث الهجين
- Langflow لتنسيق سير العمل
سيتوفر OpenSearch قريباً أيضاً في watsonx.data كمحرك بحث واسترجاع مدمج، مما يعزز جودة استرجاع البيانات لضمان حصول الذكاء الاصطناعي على السياق المناسب في الوقت المناسب. يوفر كل من OpenSearch و OpenRAG على watsonx.data تجربة المصادر المفتوحة مع تقديم خدمة SaaS مُدارة بالكامل تتميز بمزايا أمنية ورقابة مدمجة.
مع انتقال الذكاء الاصطناعي من مرحلة التجريب إلى الانتشار الواسع، بات من الواضح تماماً أن قيمة الذكاء الاصطناعي تعتمد على السياق. لكي يساعد الذكاء الاصطناعي في اتخاذ قرارات موثوقة، يجب ألا يقتصر فهمه على البيانات التي يستند إليها فحسب، بل يجب أن يمتد ليشمل ما تمثله هذه البيانات وكيفية استخدامها الصحيح.
لحسن الحظ، تمتلك كل مؤسسة مستودعات ضخمة من المعرفة التي تنتظر تفعيلها من خلال الذكاء الاصطناعي. المشكلة الوحيدة هي أنها محاصرة في صيغ مثل رسائل البريد الإلكتروني، وتذاكر الدعم، وتفريغ المكالمات المسجلة، وملفات الـ PDF. تمثل البيانات غير المنظمة حوالي 90% من بيانات المؤسسات، وهي تعد مورداً هائلاً وغير مستغل إلى حد كبير بالنسبة للذكاء الاصطناعي. التحدي يكمن في تحويل ذلك المورد إلى شيء يمكن للذكاء الاصطناعي البحث فيه والاستفادة منه بشكل موثوق، عبر الملايين من الملفات والأنظمة.
تلجأ العديد من الفرق إلى التوليد المعزز بالاسترجاع (RAG) لترسيخ الذكاء الاصطناعي في بيانات المؤسسات. لكن تقنية RAG التقليدية غالباً ما تخفق في بيئات الإنتاج. تعتمد هذه التقنية على الاسترجاع بنقرة واحدة، ومنطق المسارات الثابتة، كما أنها تواجه صعوبة في التعامل مع الأسئلة المعقدة، ويصعب تشغيلها فعلياً في نهاية المطاف، لا سيما مع زيادة أعباء العمل وتوسع نطاق الاستخدام.
يتبع OpenRAG على watsonx.data نهجًا وكيلاً للتوليد المعزز بالاسترجاع (RAG). فهو يفهم نية المستخدم ويستفيد من الاستدلال متعدد الخطوات واستدعاء الأدوات لتحقيق مخرجات دقيقة وموثوقة وجديرة بالثقة باستمرار.
يجعل OpenRAG من السهل ربط سير عمل الذكاء الاصطناعي بقواعد المعرفة، سواء كانت في watsonx.data أو في أنظمة التخزين السحابية مثل Google Drive و Microsoft OneDrive و Microsoft SharePoint و AWS S3. ونظراً لأن اختيار النموذج أمر بالغ الأهمية، يمكنك استخدام النماذج الرائدة من OpenAI و Anthropic، أو الاتصال بمنصة watsonx.ai للاختيار من بين آلاف النماذج، بما في ذلك نماذجك المخصصة.
بمجرد الاتصال بالبيانات والنماذج والأدوات ، يصبح الاسترجاع جزءًا من عملية الاستدلال. بإمكان الوكيل تحديد متى ينبغي إجراء البحث، واستدعاء الأدوات المناسبة، واسترداد سياق إضافي، وتحسين استجابته بشكل متكرر حتى تتوفر لديه المعلومات الكافية لتقديم إجابة موثقة.
يتيح هذا النهج نطاقًا واسعًا من سير العمل. يمكن لمساعد دعم العملاء استرجاع التذاكر والوثائق ذات الصلة واستدعاء واجهات برمجة التطبيقات (APIs) الداخلية للتحقق من حالات الطلبات. يمكن لمساعد المبيعات استخلاص الرؤى من نظام إدارة علاقات العملاء (CRM) المتصل وسجلات المكالمات لإعداد ملخص مخصص للحساب. ويمكن لمساعد الامتثال البحث والاستدلال عبر السياسات، واستخراج البنود ذات الصلة، والتحقق من التوصيات مقابل التوجيهات التنظيمية.
لأن OpenRAG يعمل على watsonx.data، هذه التطبيقات ليست محصورة في مستودع واحد. يمكنهم الوصول بأمان إلى البيانات المنظمة والبيانات غير المنظمة أينما كانت. يدعم OpenRAG أكثر من 20 نوعاً من الملفات، بما في ذلك ملفات PDF والصور وعروض PowerPoint وملفات Excel؛ مما يمنح سير عمل الذكاء الاصطناعي القدرة على الوصول إلى المعرفة التي يعتمد عليها الموظفون يومياً، وليس فقط البيانات التي يسهل الاستعلام عنها.
في جوهر تقنياتها، توفر OpenSearch إمكانيات البحث الأساسية في OpenRAG—بما في ذلك الفهرسة، والبحث الهجين (بالكلمات المفتاحية والمتجهات)، ومسارات الاستعلام، والاسترجاع—وهي بحد ذاتها أداة بحث مفتوحة المصدر وقوية للمؤسسات.
تم تصميم OpenSearch على watsonx.data لأعباء عمل الإنتاج طويلة الأمد وعالية الإنتاجية. يمكن للفرق تمكين البحث والاسترجاع على مستوى المؤسسة دون تجميع أدوات متعددة معاً.
في جوهرها، تجمع OpenSearch بين البحث المتقدم في النصوص الكاملة واسترجاع البيانات الدلالي الحديث. يضمن البحث التقليدي بالكلمات الرئيسية مطابقة دقيقة وضبطاً دقيقاً للملاءمة، بينما يتيح بحث المتجهات الأصلي الاسترجاع القائم على التشابه عبر التضمينات لاستيعاب المعنى والسياق. تجمع تقنية البحث الهجين بين هذين النهجين في نموذج موحد لتحديد النتائج، مما يعزز جودة استرجاع المعلومات من خلال الموازنة بين المطابقة الدقيقة والاستيعاب الدلالي للمحتوى.
النتيجة هي نتائج أكثر دقة وصلة وقابلية للتفسير لمسارات RAG، ووكلاء الذكاء الاصطناعي، وتطبيقات البحث الدلالي التي تعمل على بيانات المؤسسات الحالية.
مع OpenRAG و OpenSearch على watsonx.data، تمكّن IBM المؤسسات من نشر أحمال التشغيل بثقة مع ضوابط أمان وهوية ووصول مدمجة. تضمن الحوكمة عبر مراحل استرجاع البيانات، ومدخلات المستخدمين، ومخرجات الذكاء الاصطناعي تحقيق الرؤية الشاملة، وإدارة المخاطر، والامتثال، وقابلية التدقيق على نطاق واسع.
بفضل محرك الاسترجاع OpenSearch كقاعدة أساسية لها، تُمكن OpenRAG سير عمل الذكاء الاصطناعي من الاسترجاع، والتحليل، واتخاذ الإجراءات عبر النطاق الكامل لبيانات المؤسسة. ستتوفر هذه القدرات قريبًا على watsonx.data، لتمكين المعارف الكامنة حاليًا في المستندات لتصبح قابلة للتشغيل والبحث، وجاهزة لدعم وكلاء الذكاء الاصطناعي الجاهزة لمرحلة الإنتاج.