إنّ OpenSearch هو محرك بحث وتحليلات مفتوح المصدر يُستخدم لفهرسة البيانات والاستعلام عنها وتحليلها من مجموعة واسعة من مصادر البيانات.
يوفر OpenSearch، المبني على Apache Lucene والمشتق في الأصل من Elasticsearch—وهو محرك بحث وتحليلات آخر—بنية أساسية قابلة للتوسع وموزعة لحالات استخدام البحث في الوقت الفعلي، وقابلية الملاحظة، وتحليلات السجلات، والتحليلات الأمنية.
يتضمن OpenSearch لوحات معلومات OpenSearch من أجل العرض المصور للبيانات ومراقبة التطبيقات. كما يمتاز بمنظومة متكاملة واسعة النطاق من المكونات الإضافية وواجهات برمجة التطبيقات (APIs) والعملاء الذين يدعمون سير عمل التحليلات عبر بيئات البيانات الحديثة.
نظرًا لتطويره كفروع مشروع مفتوح المصدر وبخارطة طريق يقودها المجتمع، يمكن للمؤسسات استخدام OpenSearch دون قيود الترخيص أو الارتباط بمورد معين. إنَّ توافقَه مع الإصدارات السابقة من Elasticsearch—إلى جانب إطار عمل المكونات الإضافية القابل للتوسيع الخاص به—يتيح لفرق العمل اعتماد OpenSearch كمحرك تحليلات مرن لأعباء العمل التشغيلية، ومسارات التعلم الآلي، وتطبيقات البحث.
ابقَ على اطلاع دائم على أبرز الاتجاهات في مجالات الذكاء الاصطناعي، والأتمتة، والبيانات، وغيرها الكثير من خلال رسالة Think الإخبارية. راجع بيان الخصوصية لشركة IBM.
تُنتج مؤسسات اليوم كميات هائلة من البيانات التي يمكن أن تكون ذات قيمة لا تُقدّر بثمن، ولكن فقط إذا كانت هذه البيانات مفهرسة، وقابلة للبحث، ومتاحة في الوقت الفعلي. يوفر OpenSearch هذه الوظيفة من خلال بنية بحث مفتوحة المصدر مصممة لتحقيق التوسع، وكفاءة التكلفة، وقابلية التشغيل البيني.
من الناحية العملية، يوفر OpenSearch:
تكتسب الشركات رؤية شاملة للشيفرة البرمجية وخارطة الطريق الخاصة بـ OpenSearch، مما يتيح لها تخصيص المنصة لتلبية المتطلبات الداخلية.
"يحافظ OpenSearch على التوافق مع واجهة برمجة التطبيقات (API) وبنية الاستعلام الخاصة بنظام Elasticsearch مفتوح المصدر، مما يعني أن المؤسسات يمكنها اعتماد أو تحديث أعباء العمل دون الحاجة إلى إعادة كتابة برمجية واسعة النطاق.
تدعم بنية المجموعات الخاصة به الإتاحة العالية من خلال العُقد والنسخ المتطابقة والأجزاء، مما يتيح البحث بزمن انتقال منخفض عبر مجموعات البيانات الضخمة (لمزيد من التفاصيل، راجع طريقة عمل OpenSearch).
يمكن لـ OpenSearch استيعاب السجلات والمقاييس وتتبعات البيانات على نطاق واسع، مما يدعم لوحات التحكم التشغيلية المستخدمة في حل المشكلات والتحليل.
من خلال ميزات المصادقة والتحكم في الوصول المدمجة، يمكن للفرق تطبيق قدرات البحث عبر أعباء عمل الأمن.
كبرنامج مفتوح المصدر، يمكن نشر OpenSearch داخلياً، أو عبر مزودي الخدمات السحابية، أو من خلال عروض الخدمات المدارة.
بدأ OpenSearch كاستجابة من المجتمع للتغييرات في ترخيص Elasticsearch و Kibana، وهي طبقة تصور برمجية شائعة. تم إصدار النسخ السابقة من Elasticsearch بموجب رخصة Apache 2.0، ولكن الإصدارات اللاحقة اعتمدت رخصة Server Side Public License (SSPL) ورخصة Elastic. وقد فرضت هذه التراخيص قيوداً على إعادة استخدام البرمجيات مفتوحة المصدر، مما خلق تحديات للمؤسسات التي تعتمد على برمجيات البحث القابلة للنشر وإعادة التوزيع بحرية.
للحفاظ على منظومة بحث مفتوحة، قامت Amazon Web Services (AWS) باشتقاق (أي إنشاء نسخة مستقلة من) آخر إصدارات Elasticsearch و Kibana المرخصة برخصة Apache 2.0، لتنشئ بذلك مشروع OpenSearch. المشروع قدّم مزايا وتحسينات جديدة بموجب نموذج حوكمة مفتوح، كما وسّع نطاق التوافق مع واجهات برمجة تطبيقات (APIs) ومكتبات عملاء Elasticsearch لتبسيط عملية الانتقال.
ومنذ ذلك الحين، تطور مشروع OpenSearch بشكل مستقل. يتميز بخارطة طريق مدفوعة بجهود المجتمعات البرمجية، وإسهامات من مزودي خدمات متعددين، ونظام بيئي متنامٍ من المكونات الإضافية المستضافة على منصة GitHub. مع أنه لا يزال متوافقًا مع العديد من أنماط Elasticsearch، فقد وسّع OpenSearch مجموعة ميزاته باستخدام مكونات إضافية لبحث المتجهات، وكشف حالات الخلل، وأدوات قابلية الملاحظة المتقدمة.
بينما يشترك المشروعان في أصل واحد، إلا أن مساراتهما قد تباعدت. يستمر Elasticsearch بموجب رخصتي SSPL و Elastic مع إستراتيجية تطوير للميزات المملوكة. أما OpenSearch، على النقيض من ذلك، فيظل مرخصاً بموجب رخصة Apache 2.0، مما يضع الانفتاح، وقابلية التوسع، والرؤية التشغيلية في مقدمة أولوياته. ونتيجةً لذلك، لم يعد تقييم المؤسسات التي تختار بين كلا الخيارين مقتصرًا على الميزات فحسب، بل بات يشمل أيضًا نماذج الحوكمة، وشروط الترخيص، والتوجه طويل الأجل لمنظومة العمل.
لا تزال التوافقية تشكل جسراً هاماً بين المشاريع؛ حيث يواصل OpenSearch دعم العديد من واجهات برمجة التطبيقات (APIs)، وأنماط الاستعلام، ومكتبات العميل الخاصة بـ Elasticsearch من الإصدارات السابقة، مما يساعد الفرق على الهجرة بأقل قدر من إعادة بناء الكود. كما أنه يحافظ على هياكل مستودعات وتنسيقات فهارس مماثلة، مما يحافظ على الألفة والاعتياد لدى المستخدمين المنتقلين من Elasticsearch.
OpenSearch مبني على بنية هندسية موزعة مصممة خصيصاً للتوسع والأداء في الوقت الفعلي. تتضمن مكوناته الأساسية المجموعات، والعُقد، والفهارس، والأجزاء، والمستندات—والتي تعمل جميعها معاً لتخزين البيانات واسترجاعها بكفاءة عالية.
العُقد هي عبارة عن خوادم أو مثيلات معبأة في حاويات تقوم بعمليات الفهرسة، والاستعلام، والتخزين. تشمل أنواع العُقد الشائعة:
المجموعة هي مجموعة من عُقدة واحدة أو أكثر تعمل معًا لإدارة البيانات وتنفيذ الاستعلامات. توفر المجموعات ميزة التكرار وموازنة الحِمل لضمان عدم تأثير إخفاقات العقد على الأداء العام. كل مجموعة تحتفظ ببيانات وصفية حول الفهارس والأجزاء ومعلومات التوجيه.
الفهرس هو مساحة اسم منطقية تشبه جدول قاعدة بيانات علائقية. يحتوي على مخططات تعيين تُحدد بنية مستندات JSON وإشارات مرجعية إلى الأجزاء (Shards) التي تُخزن تلك المستندات. يُستخدم مصطلح "الفهرس" أيضًا كفعل لوصف عملية ملء الفهرس بالبيانات.
المستندات هي كائنات JSON تمثل سجلات فردية. ببساطة، إنها البيانات التي يتم تخزينها والبحث عنها. عند فهرسة المستندات، يتم تحليل الحقول الموجودة داخل كل مستند، وتحويلها إلى رموز مميزة، ثم تخزينها في فهارس معكوسة.
الأجزاء (Shards) هي وحدات التخزين الأساسية في OpenSearch حيث تستقر المستندات. يتكون كل فهرس من أجزاء أساسية وأجزاء متماثلة اختيارية.
بما أن كل جزء (Shard) عبارة عن مثيل Lucene مستقل (وهي مكتبة محرك بحث قائمة بذاتها)، فإن OpenSearch يقوم بتوزيع الأجزاء عبر العُقد لموازاة عمليات البحث وتوسيع نطاق الأداء.
إذًا، كيف يجتمع كل هذا معًا؟ عند فهرسة مستند ، يقوم OpenSearch بتحليل المحتوى وتطبيق أدوات تحليل النصوص وأدوات الترميز. بعد المعالجة، يكتب المصطلحات في الجزء المناسب.
يتم التعامل مع الفهرسة بواسطة عُقد البيانات ويمكن توزيعها عبر المجموعة لتحقيق السرعة والموثوقية. ثم تُرسل الاستعلامات إلى عقدة تنسيق، والتي تحدد الأجزاء التي تحتوي على البيانات ذات الصلة، ثم توجّه الاستعلام إلى تلك الأجزاء وتجمع النتائج.
تخيّل الأمر كأنه مطبخ مطعم يضم محطات عمل مختلفة. تشبه الفهرسة إعداد المكونات وإرسالها إلى المحطة الصحيحة بحيث تكون جاهزة عند وصول الطلب. عند وصول الاستعلام، تعمل العقدة المنسقة بمثابة مسؤول التنسيق والمتابعة، حيث يحدد ويطلب ما هو مطلوب، ويجمع مساهمة كل محطة، ثم يقدم في النهاية طبقاً واحداً متكاملاً.
يتضمن OpenSearch ميزات مدمجة للبحث، والتحليلات، وقابلية الملاحظة. تُوسّع الملحقات والامتدادات من نطاق الوظائف والميزات، مما يتيح لفرق العمل تكييف المنصة لتلبية متطلبات أعباء العمل المتخصصة.
على الرغم من أنها ليست شاملة، فإن هذه الامتدادات الشائعة تدعم سيناريوهات التحليلات المتقدمة والتعلم الآلي (ML) وقابلية الملاحظة:
يمكن للمؤسسات التي تفضل تجربة مُدارة استخدام خدمة Amazon OpenSearch Service، والتي تعمل على أتمتة عمليات التوسع، والنسخ الاحتياطي، واستبدال العُقد، والصيانة لمجموعات OpenSearch على AWS.
OpenSearch Dashboards هي واجهة التصور والتحليلات لبرنامج OpenSearch. توفر بيئة تفاعلية لاستكشاف البيانات المفهرسة، وبناء التصورات المرئية، وإنشاء لوحات المعلومات التشغيلية المستخدمة في سير عمل قابلية الملاحظة، والتحليلات الأمنية، ومراقبة التطبيقات. على سبيل المثال، يمكن للفرق الاستفادة من لوحات المعلومات لعرض الاتجاهات في المقاييس والتحقيق في حالات الخلل في الوقت الفعلي تقريباً.
تدعم OpenSearch Dashboards إنشاء المخططات البيانية، والجداول، والخرائط، ودفاتر الملاحظات، واللوحات المخصصة. كما تتضمن ميزات مصممة لتبسيط التحليل. تتيح دفاتر الملاحظات (Notebooks) للمستخدمين دمج العناصر المرئية والنصوص في سرد واحد، بينما تقوم لوحات التشغيل بتنظيم عناصر الملاحظة المرئية التي تم إنشاؤها باستخدام لغة المعالجة المتسلسلة في شاشة عرض موحدة.
نظرًا لأن OpenSearch Dashboards تشترك في واجهة مستخدم (UI) موروثة من Kibana، فإن العديد من فرق البيانات تجد سير العمل مألوفًا. ومع ذلك، فقد تم تطويره وفقاً لخريطة الطريق الخاصة به، ويتضمن إمكانيات تعكس مجموعة ميزات OpenSearch الأوسع.
يدعم OpenSearch مجموعة واسعة من حالات الاستخدام عبر الصناعات، بما في ذلك:
تَقوم الفِرق بفهرسة سجلات البيانات الخاصة بالتطبيقات، والبنية التحتية، والخدمات السحابية لتحليل مشكلات الأداء وإصلاح الأعطال المسببة لانقطاع الخدمة. ويدعم OpenSearch الاستيعابَ عالي الحجم والتحليلات في الوقت الفعلي، مما يجعله مناسبًا لأنظمة الإنتاج الموزعة، مثل مواقع التجارة الإلكترونية متعددة الجنسيات.
مع دعم المقاييس والسجلات والتتبعات، يوفر OpenSearch منصة متكاملة لقابلية الملاحظة. تحليلات التتبع تصور تفاعلات الخدمات، بينما تحليلات التطبيق تربط بيانات القياس عن بُعد لفهم سلوك النظام وتحديد زمن الانتقال أو الأعطال. تسمح لوحات المعلومات واستعلامات PPL للفرق بالتحقيق في المشكلات بسرعة وإنشاء طرق عرض تشغيلية قابلة لإعادة الاستخدام.
تُتيح خوارزميات كشف حالات الخلل و ML Commons في OpenSearch للمؤسسات تطبيق تقنيات البحث والتحليلات عبر العمليات الأمنية. تستخدمه الفرق لاكتشاف الأنماط غير الاعتيادية في سجلات المصادقة أو سلوك التطبيقات، بالإضافة إلى تفعيل التنبيهات عند استيفاء شروط أو حدود معينة.
تستخدم المؤسسات OpenSearch كمحرك البحث الأساسي خلف المواقع الإلكترونية، وكتالوجات المنتجات، وأنظمة المحتوى المؤسسي. يدعم كلٌّ من البحث في النص الكامل، والإكمال التلقائي، ومطابقة العبارات، والبحث المتجهي مجموعةً من حالات استخدام تجربة المستخدم والتوصيات.
يوفر OpenSearch Dashboards أدوات تصور تفاعلية، وتقارير، ودفاتر ملاحظات تساعد الفرق على استكشاف البيانات، ومراقبة الاتجاهات، وتتبع مؤشرات الأداء الرئيسية (KPIs)، ومشاركة الرؤى مع أصحاب المصلحة.
مع ML Commons، يمكن للفرق تشغيل العمليات القائمة على النماذج داخل OpenSearch، مثل التجميع والتصنيف والتنبؤ. تدعم هذه القدرات حالات استخدام مثل اكتشاف الاحتيال، والتنبؤ بالطلب، وتقسيم العملاء، وإثراء مسارات البيانات في المراحل النهائية.
احصل على إجابات يمكنك الوثوق بها من خلال وكلاء ذكاء اصطناعي مدركين للسياق مدعومين ببيانات محكومة ومتصلة، من دون الحاجة لإعادة بناء المنصة أو من دون تقييد.
صمم استراتيجية بيانات تقضي على صوامع البيانات، وتقلل من التعقيدات وتحسّن جودة البيانات للحصول على تجارب استثنائية للعملاء والموظفين.
وسِّع نطاق الذكاء الاصطناعي بنجاح من خلال وجود الاستراتيجية الصحيحة، والبيانات الموثوق بها، والأمن، والحوكمة الفعَّالة.