ما هو LangSmith؟

تتمثل واحدة من أكبر تحديات تطوير تطبيقات النماذج اللغوية الكبرى الموثوقة في فهم سبب فشل نظام الذكاء الاصطناعي أو تصرفه بشكل غير متوقع بمجرد نشره. غالبًا ما يواجه المطورون صعوبة في تتبع الأخطاء، وضبط الموجِّهات، وتقييم الأداء عبر الحالات الجانبية، أو معالجة مشكلات استخدام أدوات تصحيح الأخطاء والذاكرة في سير عمل الوكلاء المعقدة. تقدم منصة LangSmith، التي طورها الفريق الذي طور LangChain، حلاً فائقًا لمواجهة هذه التحديات. وهي تعمل كمنصة مخصصة لمراقبة التطبيقات المبنية باستخدام نماذج لغوية كبرى وتصحيح أخطائها وتقييمها. وتتيح للمطورين إمكانية فحص سجلات التتبع، ومراقبة الأداء، واختبار إصدارات الموجِّهات المختلفة، وتتبع كيفية استخدام الأدوات الخارجية والذاكرة في الوقت الفعلي، وكل ذلك ضمن واجهة موحدة مصممة لجعل تطبيقات النماذج اللغوية الكبرى أكثر قوة وجاهزية لبيئات الإنتاج. 

LangChain وLangSmith هما أداتان لدعم تطوير النماذج اللغوية الكبيرة، ولكن الغرض من كل أداة يختلف.  

LangChain هو إطار عمل Python مفتوح المصدر يبسط عملية تطوير تطبيقات النماذج اللغوية الكبرى ونشرها. وهو يربط عناصر متعددة من النماذج اللغوية الكبرى في سير عمل منظمة باستخدام وحدات تطوير معيارية مثل السلاسل والوكلاء والذاكرة. تتيح هذه العناصر إمكانية دمج النماذج اللغوية الكبرى مع الأدوات الخارجية، وواجهات برمجة التطبيقات (APIs)، ومصادر البيانات لتطوير تطبيقات متطورة. فبدلاً من الاعتماد على نموذج واحد، فإنه يدعم إمكانية ربط النماذج معًا من أجل مهام مثل فهم النص وتوليد الاستجابة والاستدلال، ما يسمح لكل خطوة بالبناء على الخطوة السابقة. يدعم LangChain هندسة الموجِّهات من خلال قوالب قابلة لإعادة الاستخدام ويتكامل مع LangGraph لتصميم سير العمل بشكل مرئي. وهذه الإمكانات تجعله فائقًا بشكل خاص لتطوير وكلاء محادثة وأنظمة ذكاء اصطناعي تتطلب معالجة السياق والتسلسل المنطقي.  

علاوة على ذلك، يُعد LangSmith الركيزة التشغيلية لإمكانات تطوير LangChain. بينما يساعدك LangChain على إنشاء سير العمل، يساعد LangSmith على ضمان تشغيلها بسلاسة من خلال توفير أدوات لتصحيح أخطاء أنظمة الذكاء الاصطناعي المعقدة ومراقبتها وإدارتها. يوفر LangSmith رؤية عميقة حول سلوك النموذج، ما يسهل تحديد مشكلات الأداء وتتبع الأخطاء وتحسين عمليات الاستجابة في الوقت الفعلي. كما يدعم التنسيق عبر نماذج ومسارات متعددة، ما يسمح بالنشر والتنسيق السلس. يوفر LangSmith تكاملاً سلسًا مع أدوات خارجية مثل TensorFlow وKubernetes. ويمكن أيضًا دمجه مع كبار مزودي السحابة مثل AWS وGCP وAzure، مع توفير دعم قوي للإعدادات الهجينة والنشر المحلي. يدعم LangSmith تطوير تطبيقات الذكاء الاصطناعي الفعلية، بما في ذلك روبوتات المحادثة والأنظمة التفاعلية الأخرى مثل وكلاء الذكاء الاصطناعي، والمساعدين الافتراضيين، وواجهات المحادثة. تساعد هذه الإمكانات المطورين على تبسيط سير عملهم. 

يعمل كل من LangChain وLangSmith معًا على تبسيط عملية التطوير بأكملها من النماذج الأولية وحتى الوصول إلى بيئات الإنتاج.

يعمل LangSmith من خلال تضمين نفسه في مجموعة تطبيقات النماذج اللغوية الكبرى، سواء كنت تستخدم LangChain أو تطور مسارات مخصصة بهدف توفير الرؤية وإمكانية التتبع والتحكم في كل مرحلة من مراحل التطوير والإنتاج. فهو يسجل البيانات الدقيقة من كل تفاعل من تفاعلات النماذج اللغوية الكبرى ويصورها، ما يساعد المطورين على تحديد المشكلات واختبار الحلول وتحسين الأداء. 

وظائف LangSmith الرئيسية هي كما يلي:

1. التصحيح

2. الاختبار

3. التقييم

4. المراقبة

غالبًا ما تتضمن تطبيقات النماذج اللغوية الكبرى مسارات استدلال معقدة، واستخدامًا ديناميكيًا للأدوات، وعمليات متعددة الخطوات. عند حدوث أخطاء، مثل الحلقات اللانهائية، أو المخرجات غير الصحيحة، أو فشل استدعاء الأدوات، تفشل طرق تصحيح الأخطاء التقليدية. يوفر LangSmith رؤية تفصيلية ومتسلسلة لكل تفاعل مع النماذج اللغوية الكبرى، ما يساعد على ضمان إمكانية التتبع الواضح طوال العملية. راقب وتتبع واستعرض تدفق البيانات خطوة بخطوة عبر التطبيق باستخدام لغة تعبير LangChain (LCEL). تساعد هذه الرؤية على استكشاف أخطاء أوقات الاستجابة الطويلة أو الأخطاء أو السلوك غير المتوقع وإصلاحها. يوفر LangSmith أدوات تصور فائقة لعرض بيانات تتبع استدعاءات النماذج اللغوية الكبرى، ما يساعد المطورين على فهم سير العمل وتصحيح أخطائها بكل سهولة. يمكن للمطورين فحص الموجِّهات والاستجابات الفردية، والخطوات المرحلية داخل العمليات والوكلاء، واستدعاءات الأدوات ومخرجاتها المقابلة. تتيح هذه الرؤية الدقيقة إمكانية تحديد المشكلات وحلها بسرعة، ما يقلل بشكل كبير من وقت التطوير ويحسن استقرار التطبيقات.

تتطلب تطبيقات النماذج اللغوية الكبرى تحديثات متكررة، سواء في تحسين الموَجِّهات، أو تعديل منطق العمليات، أو تغيير معلمات النماذج. ومن الضروري المساعدة على ضمان ألا تؤدي هذه التغييرات إلى الانحدار. يدعم LangSmith الاختبارات القائمة على مجموعات البيانات، ما يسمح للمطورين بتشغيل مجموعات الاختبار المخصصة عبر إصدارات التطبيق، ومقارنة المخرجات بصورة مرئية ودلالية، وتحديد التغيرات في السلوك قبل النشر في بيئات الإنتاج. يسهل هذا الاختبار ضمان الجودة الصارمة ويعزز التطوير الآمن والمتكرر. يُمكّن دعم LangSmith للتقييمات الآلية الفرق من تكرار تصميمات الموجِّهات ومعلمات النماذج بسرعة لضمان اتساق الجودة.

بالإضافة إلى الدقة الوظيفية، يجب تقييم جودة المخرجات الناتجة عن النماذج اللغوية الكبرى باستمرار بالنظر إلى توقعات الشركة والمستخدمين. يوفر LangSmith أدوات تقييم مدمجة وقابلة للتخصيص لتقييم الأداء عبر أبعاد مختلفة مثل الدقة والملاءمة والتماسك. بفضل إمكانات التقييم في LangSmith، يمكن للفرق تقييم الأداء عبر مجموعات البيانات والموجِّهات المختلفة، ورصد الحالات الجانبية التي تدهور تجربة المستخدم، وتتبع التحسينات أو الانحدارات باستخدام مقاييس واضحة. تساعد عملية التقييم المنظمة هذه على ضمان بقاء أنظمة النماذج اللغوية الكبرى فعالة ودقيقة ومتوافقة مع النتائج المنشودة.

يتطلب نشر تطبيقات النماذج اللغوية الكبرى في بيئات الإنتاج مراقبة فائقة للمساعدة على ضمان الأداء المتسق والاستجابة الفورية للحوادث. يتيح LangSmith مراقبة شاملة لسير عمل النماذج اللغوية الكبرى مثل تسجيل عمليات التنفيذ في الوقت الفعلي، ومعدلات زمن الانتقال والأخطاء، والتكامل مع أنظمة التنبيه للإبلاغ الفوري عن الحوادث، ولوحات المعلومات التي توفر معارف حول أنماط الاستخدام وسلامة النظام. تسمح هذه المعلومات التشغيلية للفرق الهندسية بإدارة سلوك التطبيقات بشكل استباقي، ما يساعد على ضمان الموثوقية والاستجابة في بيئات العمل المباشر. تساعد مراقبة عمليات النشر الفعلية باستخدام LangSmith الفرق على تبسيط الاستجابة للحوادث والحفاظ على جودة النظام وسلامته. 

يعمل LangSmith من خلال مجموعة أدوات بسيطة لتطوير برمجيات Python تساعد المطورين على تطوير تطبيقات الذكاء الاصطناعي وإدارتها بكل سهولة. وهو يتصل بنماذج الذكاء الاصطناعي مثل GPT من OpenAI ويستخدم تقنيات مثل التوليد المعزز بالاسترجاع (RAG) بهدف تحسين كيفية عمل هذه النماذج. باستخدام مفتاح واجهة برمجة التطبيقات، يمكن للمطورين تتبع وتصحيح أخطاء وكلاء الذكاء الاصطناعي، بما في ذلك تلك المبنية على ChatGPT، لضمان سير الأمور بسلاسة والأداء الجيد في مشاريع الذكاء الاصطناعي التوليدي. 

على سبيل المثال، يقدم البحث أداة تحرير من LangSmith تساعد الباحثين غير الناطقين باللغة الإنجليزية على كتابة الأوراق الأكاديمية باللغة الإنجليزية، خصوصًا في مجال معالجة اللغة الطبيعية. يوفر النظام ثلاث مزايا رئيسية: اقتراحات مراجعة النص استنادًا إلى مسودات أولية، وإكمال النص بناءً على السياق، وتصحيح الأخطاء النحوية أو الإملائية^[1]. وقد أظهرت النتائج أن LangSmith يحسن جودة عمليات مراجعة المسودات، خاصةً عندما يكون هناك تعاون بين الإنسان والآلة، ما يُمكّن الكتاب غير الناطقين باللغة الإنجليزية من إنتاج نصوص أكاديمية أكثر طلاقة وملاءمة من الناحية الأسلوبية. يعزز النظام التنوع والشمولية من خلال تقليل الحواجز اللغوية في التواصل العلمي. يسلط هذا المثال الضوء على حالة استخدام واقعية حيث يسهل فيها LangSmith البحث في علم البيانات من خلال تحسين التعاون بين البشر والذكاء الاصطناعي في الكتابة الأكاديمية. تبرز مثل هذه الحالات إمكانات LangSmith فى تعزيز الشمولية والإنتاجية في مختلف المجالات المستندة إلى الذكاء الاصطناعي. 

تستخدم Factory، وهي شركة تطور وكلاء الذكاء الاصطناعي لأتمتة عملية تطوير البرمجيات (SDLC)، LangSmith للمساعدة على ضمان أمان عمليات النماذج اللغوية الكبرى وموثوقيتها في البيئات المؤسسية.^[2] لقد دمجت LangSmith مع AWS CloudWatch واكتسبت إمكانية التتبع الكامل عبر مسارات النماذج اللغوية الكبرى (LLM)، ما يتيح إمكانية تصحيح الأخطاء بشكل أسرع وتحسين إدارة السياق. بفضل واجهة برمجة تطبيقات التغذية الراجعة في LangSmith، تمكنت من أتمتة عملية تقييم الموجِّهات وتحسينها بناءً على مدخلات المستخدم الفعلية. وقد ساعد ذلك على مضاعفة سرعة دورات التكرار وتقليل الوقت المستغرق من الفتح للدمج بنسبة 20%، ما جعل LangSmith جزءًا حيويًا من سير عمل تطوير الذكاء الاصطناعي ومراقبته. 

منصة واحدة لجميع الوظائف: يدمج LangSmith جميع الوظائف الأساسية—تصحيح الأخطاء، والاختبار، والنشر، والمراقبة—في منصة واحدة متماسكة. تساعد مراقبة عمليات النشر الواقعية باستخدام LangSmith الفرق على تبسيط الاستجابة للحوادث والحفاظ على سلامة النظام الفائقة. واجهته المنظمة والصديقة للمطورين تسهل التنقل عبر سير العمل المعقدة وإدارة المشاريع بكفاءة من دون الحاجة إلى التبديل بين عدة أدوات. 

تصحيح الأخطاء والتقييم الفائقان: يوفر تحليلاً مفصلاً لسجلات التتبع واختبارًا فوريًا وأدوات لإدارة مجموعات البيانات، ما يساعد على تحديد المشكلات وتقييم الأداء وتحسين سلوك النماذج اللغوية الكبرى بدقة. 

قابلية التوسع الجاهزة للمؤسسات: مصمم لدعم التطبيقات عالية الحجم على مستوى الإنتاجية، ما يجعله مناسبًا جدًا لفرق المؤسسات التي تعمل على تطوير أنظمة الذكاء الاصطناعي المعقدة وصيانتها.

منحنى التعلم شديد الانحدار للمبتدئين: يمكن أن يشكل LangSmith تحديًا للمبتدئين، لأنه يتطلب فهمًا قويًا لأدوات النماذج اللغوية الكبرى وعمليات DevOps، ما قد يحد من إمكانية استخدام المبتدئين له. 

الاعتماد الكبير على نظام LangChain البنائي: يرتبط LangSmith ارتباطًا وثيقًا بنظام LangChain. وعلى الرغم من أن هذا الأمر رائع لمستخدمي هذا الإطار، فإنه قد لا يكون مفيدًا لمستخدمي أدوات التنسيق الأخرى أو المجموعات المخصصة. 

قابلية التوسع والتكلفة للمشاريع واسعة النطاق: بالنسبة إلى الاستخدام المؤسسي، يمكن أن ترتفع التكاليف مع التوسع، خاصةً عند التعامل مع التقييمات المتكررة، أو تخزين سجلات التتبع الكبيرة، أو التحليلات المتقدمة. 

يعتمد الاختيار بين LangChain أو LangSmith أو الجمع بينهما على المتطلبات المحددة لتطبيق النماذج اللغوية الكبرى. يُعد LangChain مناسبًا جدًا لتصميم ونمذجة سير عمل النماذج اللغوية المعقدة، ما يتيح التكامل السلس مع الأدوات الخارجية وواجهات برمجة التطبيقات. استخدم LangSmith عندما تكون مستعدًا للانتقال إلى بيئات الإنتاج وتحتاج إلى أدوات فائقة لتصحيح أخطاء تطبيقات النماذج اللغوية الكبرى، واختبارها، ومراقبتها، وصيانتها على نطاق واسع. عند استخدامهما معًا، توفر هاتان المنصتان حلاً شاملاً وقابلاً للتوسع لتطوير تطبيقات النماذج اللغوية الكبرى فائقة الجودة ونشرها وصيانتها.