مقارنة بين معالجة اللغة الطبيعية (NLP) وفهم اللغة الطبيعية (NLU) وتوليد اللغة الطبيعية (NLG): أوجه الاختلاف بين مفاهيم معالجة اللغة الطبيعية الثلاثة

في حين أن معالجة اللغة الطبيعية (NLP)، وفهم اللغة الطبيعية (NLU)، وتوليد اللغة الطبيعية (NLG) كلها مواضيع مترابطة، إلا أنها مواضيع مختلفة. على وجه العموم، يُعد كلٌ من فهم اللغة الطبيعية (NLU) وتوليد اللغة الطبيعية (NLG) عنصرين من معالجة اللغة الطبيعية (NLP). بالنظر إلى كيفية تقاطعهما، عادة ما يتم الخلط بينهما، ولكن في هذا المنشور، سنعرف كل مصطلح على حدة ونلخص اختلافاتهم لتوضيح أي غموض.

تطورت معالجة اللغة الطبيعية من علم اللغويات الحاسوبية، وتستفيد من مجالات متعددة مثل علوم الحاسب، والذكاء الاصطناعي، وعلم البيانات. تهدف هذه التقنيات إلى تمكين الحواسيب من فهم اللغة البشرية المكتوبة والشفهية. في حين أن اللغويات الحاسوبية تركز بصورة أكبر على جوانب اللغة، فإن معالجة اللغة الطبيعية تركز على استخدام تقنيات التعلم الآلي والتعلم العميق لإتمام المهام، مثل ترجمة اللغة أو الإجابة عن الأسئلة. تعمل معالجة اللغة الطبيعية من خلال أخذ البيانات غير المنظمة وتحويلها إلى تنسيق بيانات منظم. تنفذ ذلك من خلال تحديد الكيانات المسماة (عملية تسمى Named Entity Recognition) وتحديد أنماط الكلمات، باستخدام طرق مثل الترميز، والتجذير، والتقطيع اللغوي، التي تفحص أصول الكلمات. على سبيل المثال، تشير اللاحقة -ed في كلمة، مثل called، إلى الزمن الماضي، ولكن لها المصدر الأساسي نفسه (to call) مثل فعل الزمن المضارع calling.

على الرغم من تعدد من خوارزميات معالجة اللغة الطبيعية (NLP)، فإن الأسلوب المستخدم يختلف باختلاف المهمة اللغوية. على سبيل المثال، غالبًا ما تستخدم سلاسل Markov لتصنيف أجزاء الكلام. تساعد الشبكات العصبية على توليد التسلسل المناسب للنص. N-grams، نموذج لغوي بسيط (LM)، يعين احتمالات للجمل أو العبارات للتنبؤ بدقة الاستجابة. تعمل هذه التقنيات معًا لدعم التقنية الشائعة مثل روبوتات المحادثة، أو منتجات التعرّف على الكلام مثل Alexa من Amazon أو Siri من Apple. ومع ذلك، فإن تطبيقها أوسع من ذلك، حيث أثرت في قطاعات أخرى مثل التعليم والرعاية الصحية.

فهم اللغة الطبيعية هو جزء من معالجة اللغة الطبيعية، والذي يستخدم التحليل النحوي والدلالي للنص والكلام لتحديد معنى الجملة. يشير بناء الجملة إلى البنية النحوية للجملة، بينما تشير الدلالات إلى المعنى المقصود منها. كما يحدد فهم اللغة الطبيعية أنطولوجيا ذات صلة: بنية بيانات تحدد العلاقات بين الكلمات والعبارات. في حين أن البشر يفعلون ذلك بطريقة طبيعية في المحادثة، فإن الجمع بين هذه التحليلات مطلوب للآلة لفهم المعنى المقصود من النصوص المختلفة.

توضح قدرتنا على التمييز بين الكلمات المتشابهة في الشكل والكلمات المتشابهة صوتيًا الفروق الدقيقة في اللغة بدقة. على سبيل المثال، لنأخذ الجملتين التاليتين:

1. Alice is swimming against the current.
2. The current version of the report is in the folder.

في الجملة الأولى، الكلمة current هي اسم. يوفر الفعل الذي يسبقها، swimming (تسبح)، سياقًا إضافيًا للقارئ، ما يسمح لنا باستنتاج أننا نشير إلى تدفق المياه في المحيط. تستخدم الجملة الثانية كلمة current، ولكن كصفة. يشير الاسم الذي تصفه، version (الإصدار)، إلى عدد نسخ من التقرير، ما يمكننا من تحديد أننا نشير إلى أحدث حالة للملف.

تستخدم هذه الأساليب أيضًا على نحو شائع في استخراج البيانات لفهم مواقف المستهلكين. وعلى وجه الخصوص، يُمكِّن تحليل المشاعر العلامات التجارية من مراقبة تعليقات العملاء عن كثب، ما يسمح لها بتجميع التعليقات الإيجابية والسلبية على وسائل التواصل الاجتماعي وتتبع صافي نقاط الترويج. من خلال مراجعة التعليقات التي تحمل مشاعر سلبية، تتمكن الشركات من تحديد المشكلات المحتملة في منتجاتها أو خدماتها ومعالجتها بسرعة أكبر.

توليد اللغة الطبيعية هو مجموعة فرعية أخرى من معالجة اللغة الطبيعية. في حين أن فهم اللغة الطبيعية يركز على فهم الكمبيوتر للقراءة، فإن توليد اللغة الطبيعية يمكّن الكمبيوتر من الكتابة. توليد اللغة الطبيعية (NLG) هي عملية إنتاج استجابة نصية بلغة بشرية بناء على البيانات المُدخلة. يمكن أيضًا تحويل هذا النص إلى كلام من خلال خدمات Text to Speech.

يتضمن توليد اللغة الطبيعية (NLG) أيضًا قدرات تلخيص النصوص التي تولد ملخصات من المستندات المدخلة مع الحفاظ على سلامة المعلومات. التلخيص الاستخراجي هو ابتكار الذكاء الاصطناعي الذي يدعم تحليل النقاط الرئيسية المستخدم في That’s Debatable.

في البداية، استخدمت أنظمة توليد اللغة الطبيعية (NLG) القوالب لإنشاء نص. بناء على بعض البيانات أو الاستعلامات، سيملأ نظام توليد اللغة الطبيعية (NLG) الفراغ، مثل لعبة Mad Libs. ولكن مع مرور الوقت، تطورت أنظمة توليد اللغة الطبيعية مع تطبيق سلاسل Markov المخفية والشبكات العصبية المتكررة والمحولات، ما أتاح توليد نصوص أكثر ديناميكية في الوقت الفعلي.

كما هو الحال مع معالجة اللغة الطبيعية (NLP)، تحتاج تطبيقات توليد اللغة الطبيعية (NLG) إلى النظر في قواعد اللغة القائمة على علم الصرف والمعاجم والنحو والدلالات لاتخاذ خيارات حول كيفية صياغة الردود بصورة مناسبة. وهي تتعامل مع هذا على ثلاث مراحل:

• تخطيط النص: خلال هذه المرحلة، تتم صياغة المحتوى العام وترتيبه بطريقة منطقية.
• تخطيط الجمل: تأخذ هذه المرحلة في الحسبان علامات الترقيم وتسلسل النص، وتقسيم المحتوى إلى فقرات وجمل مع وضع الضمائر أو أدوات الربط عند الحاجة.
• الإدراك: هذه المرحلة تأخذ في الحسبان الدقة النحوية، ما يضمن اتباع القواعد المتعلقة بالترقيم والتصريف. على سبيل المثال، الفعل الماضي من الفعل run هو ran، وليس runned.

• تسعى معالجة اللغة الطبيعية (NLP) إلى تحويل بيانات اللغة غير المنظمة إلى بيانات منظمة لتمكين الآلات من فهم الكلام والنصوص وصياغة الإجابات السياقية ذات الصلة. تشمل مواضيعها الفرعية معالجة اللغة الطبيعية وتوليد اللغة الطبيعية.
• يركز فهم اللغة الطبيعية (NLU) على فهم الآلة للنصوص من خلال القواعد النحوية والسياق، ما يمكنها من تحديد المعنى المقصود للجملة.
• يركز توليد اللغة الطبيعية (NLG) على توليد النصوص، أو بناء نص باللغة الإنجليزية أو لغات أخرى، بواسطة آلة وبناءً على مجموعة بيانات معينة.

إن معالجة اللغة الطبيعية وعناصرها الفرعية لها العديد من التطبيقات العملية في العصر الحالي، مثل تشخيصات الرعاية الصحية أو خدمة العملاء الإلكترونية.

استكشف بعضًا من أحدث الأبحاث في مجال معالجة اللغة الطبيعية (NLP) على موقع IBM أو ألقِ نظرة على بعض عروض منتجات IBM، مثل Watson Natural Language Understanding. تقدم خدمة التحليلات الخاصة بها رؤى حول الفئات والمفاهيم والكيانات والكلمات الرئيسية والعلاقات والمشاعر وبناء الجمل من بياناتك النصية لمساعدتك على الاستجابة لاحتياجات المستخدم بسرعة وكفاءة. ساعد عملك على التقدم في الاتجاه الصحيح لتحليل بياناتك وتوظيفها على نطاق واسع في الذكاء الاصطناعي.