ما المقصود بالتحليل الدلالي الكامن؟

LSA هي واحدة من تقنيتين رئيسيتين لنمذجة الموضوعات، والأخرى هي تخصيص ديريتشليت الكامن (LDA). نمذجة الموضوعات هي إحدى تقنيات معالجة اللغة الطبيعية (NLP) التي تطبق عملية التعلم غير الموجّه على مجموعات كبيرة من البيانات النصية من أجل إنتاج مجموعة موجزة من المصطلحات المقتبسة من تلك المستندات. تهدف هذه المصطلحات إلى تمثيل مجموعة الموضوعات الأساسية المضمنة في المجموعة. تهدف نماذج الموضوعات إلى الكشف عن الموضوعات أو الموضوعات الكامنة التي تميز عددًا من المستندات.¹

يمكن للمستخدمين إنشاء نماذج موضوعات LSA باستخدام مجموعة أدوات اللغة الطبيعية (NLTK) الخاصة ب scikit-learn (يشار إليها عادة باسم sklearn) و gensim في Python. تحتوي نماذج الموضوعات وحزم lsa في R أيضًا على وظائف لإنشاء نماذج موضوعات LSA.

يرتبط التحليل الدلالي الكامن بالفهرسة الدلالية الكامنة (LSI) وهي تقنية استرجاع المعلومات. في أنظمة استرجاع المعلومات، يستخدم LSI نفس الإجراء الرياضي الذي يقوم عليه LSA لتعيين استعلامات المستخدم إلى المستندات بناء على التكرار المشترك للكلمات. إذا استعلم المستخدم عن نظام الفالس وفوكستروت، فقد يكون مهتمًا بالمستندات التي لا تحتوي على أيٍّ من هذه المصطلحات ولكنها تحتوي على مصطلحات غالبًا ما تتزامن مع مصطلحات الاستعلام الخاصة بهم. على سبيل المثال، قد يتزامن التانغو والبوليرو في كثير من الأحيان مع مصطلحات الاستعلام ويجب أن يشيرا إلى وثائق حول الموضوع نفسه. يقوم LSI بفهرسة المستندات وفقًا لمجموعات الكلمات الدلالية الكامنة التي تتكون من كلمات متزامنة بشكل شائع. وبهذه الطريقة، يمكن تحسين نتائج محرك البحث. تطبق LSA نفس الإجراء الرياضي مثل LSI من أجل التقاط البنية الدلالية المخفية التي تقوم عليها مجموعات كبيرة من المستندات.²

يبدأ LSA بمصفوفة المصطلح - المستند أو في بعض الأحيان بمصفوفة المصطلحات - المستندات. يعرض هذا عدد التكرارات لكل كلمة في جميع المستندات. في Python (لتقديم مثال واحد)، يمكن للمستخدمين إنشاء هذه المصفوفات باستخدام إطار بيانات الباندا. فيما يلي مثال على مصفوفة المصطلح - المستند باستخدام السلاسل النصية الثلاث كمستندات فردية:

d1: حبي مثل الورود الحمراء الحمرء

d2: الورود حمراء، والبنفسج زرقاء

d3: يفترض موسى أن أصابع قدميه وردة

توضح هذه المصفوفة تكرار الكلمات لكل كلمة عبر جميع المستندات الثلاثة بعد الترميز وإزالة كلمات التوقف. يتوافق كل عمود مع مستند، بينما يتوافق كل صف مع كلمة معينة موجودة عبر مجموعة النص بأكملها. تشير القيم الموجودة في المصفوفة إلى عدد المرات التي يظهر فيها مصطلح معين في مستند معين. إذا تكرر المصطلح w مرات في المستند d، فإن [w، d] = n. لذلك، على سبيل المثال، يستخدم المستند 1 "أحمر" مرتين، وهكذا [أحمر، d1] = 2.

من مصفوفة المصطلح - المستند، تنتج LSA مصفوفة المستند- المستند ومصفوفة المصطلحات. وإذا تم تعريف أبعاد مصفوفة المستند-المصطلح على أنها d مستندات مضروبة في w كلمات، فإن مصفوفة المستند-المستند تكون d مضروبة في d، ومصفوفة المصطلح-المصطلح w مضروبة في w. وتشير كل قيمة في مصفوفة المستند-المستند إلى عدد الكلمات المشتركة بين كل وثيقة. وتشير كل قيمة في مصفوفة المصطلح-المصطلح إلى عدد الوثائق التي يظهر فيها مصطلحان معًا.⁹

تناثر البيانات، الذي يؤدي إلى الإفراط في تجهيزالنموذج، يحدث عندما تكون غالبية قيم البيانات في مجموعة بيانات معينة صفر (أي فارغة). يحدث هذا بانتظام عند إنشاء مصفوفات المستند- المصطلح، حيث تكون كل كلمة فردية عبارة عن بعد منفصل لصف ومساحة متجه، حيث سيفتقر مستند واحد بانتظام إلى غالبية الكلمات الأكثر شيوعًا في المستندات الأخرى. في الواقع، تحتوي مصفوفة المصطلح - المستند النموذجية المستخدمة هنا على استخدامات عديدة لكلمات مثل موسى والبنفسج والأزرق التي تظهر في مستند واحد فقط. بالطبع، يمكن أن تساعد تقنيات المعالجة المسبقة للنص، مثل إزالة كلمات التوقف، والجذع، وتجريد الكلمة، في تقليل التناثر. ومع ذلك، تقدم LSA نهجًا أكثر استهدافًا.

LSA ينشر تقنية تقليل الأبعاد المعروفة باسم تحليل القيمة المفردة (SVD) لتقليل التناثر في مصفوفة المصطلح - المستند. تدعم تقنية SVD العديد من طرق تقليل الأبعاد الأخرى مثل تحليل المكونات الأساسية. يساعد SVD في التخفيف من المشكلات الناتجة عن تعدد الدلالات، والكلمات الفردية التي لها معاني متعددة، والمرادفات، وهي كلمات مختلفة ذات معنى متشابه.

باستخدام المصفوفات المحسوبة من المصطلحات عبر مصفوفات المستند والمستند والمصطلح، تقوم خوارزمية LSA بإجراء SVD على مصفوفة مستندات المصطلح الأولية. ينتج عن هذا مصفوفات خاصة جديدة من المتجهات الذاتية التي تقسم العلاقات الأصلية بين المصطلح والمستند إلى عوامل مستقلة خطيًا. أهمها المصفوفة القُطرية للقيم المفردة الناتجة عن الجذور التربيعية للقيم الذاتية لمصفوفة المستند - المستند. في هذه المصفوفة القُطرية، التي غالبًا ما يتم تمثيلها على أنها Σ، تكون القيم دائمًا موجبة ومرتبة بترتيب تنازلي أسفل قُطر المصفوفة:

كما هو موضح في هذا المثال Σ مصفوفة Σ، فإن العديد من القيم السفلية قريبة من الصفر. يحدد المطور قيمة القطع المناسبة لحالته ويقلل جميع القيم المفردة في Σ أقل من هذا الحد إلى الصفر. هذا يعني بشكل فعال إزالة جميع الصفوف والأعمدة التي تشغلها الأصفار بالكامل. في المقابل، نزيل الصفوف والأعمدة من المصفوفات الأصلية الأخرى حتى يكون لها نفس عدد الصفوف والأعمدة مثل Σ. يؤدي هذا إلى تقليل أبعاد النموذج.⁴

بمجرد تقليل أبعاد النموذج من خلال SVD، تقارن خوارزمية LSA المستندات في مساحة دلالية ذات أبعاد أقل باستخدام تشابه جيب التمام. تتضمن الخطوة الأولى في مرحلة المقارنة هذه تعيين المستندات في مساحة المتجه. هنا، تعامل LSA النصوص باعتبارها نموذجًا bag of words . وتقوم الخوارزمية برسم كل نص من مجموعة النصوص أو المجموعات النصية على هيئة متجه مستند، مع الكلمات الفردية من المصفوفة المختصرة كأبعاد لهذا المتجه. يتجاهل التخطيط ترتيب الكلمات والسياق، مع التركيز بدلًا من ذلك على عدد مرات حدوث الكلمات وعدد مرات وجودها عبر المستندات.⁵

مع نماذج Bag of words القياسية، يمكن أن يكون للكلمات غير ذات الصلة دلاليًا (على سبيل المثال، كلمات مثل the وsome، وكلمات أخرى مماثلة) أعلى تردد للمصطلح، وبالتالي أكبر وزن في النموذج. تكرار المصطلح مع عكس تكرار المستند (TF-IDF) هو إحدى التقنيات لتصحيح هذا الأمر. يقوم بذلك من خلال أخذ انتشار الكلمة في جميع المستندات في مجموعة النصوص في الاعتبار، ومن ثم وزن الكلمات في كل مستند وفقًا لانتشارها عبر كامل المجموعة.⁶

بمجرد رسم المستندات في مساحة المتجهات، تستخدم خوارزمية LSA مقياس تشابه جيب التمام لمقارنتها. يشير تشابه جيب التمام إلى قياس الزاوية بين متجهين في الفضاء الاتجاهي. يمكن أن تكون أي قيمة بين -1 و1. كلما ارتفعت درجة جيب التمام، زاد تشابه الوثيقتين. يتم تمثيل تشابه جيب التمام بهذه الصيغة، حيث a و b يشيران إلى متجهين للمستند:⁷

هناك العديد من حالات الاستخدام لنماذج الموضوعات، من النقد الأدبي⁸ إلى المعلوماتية الحيوية⁹ إلى كشف خطاب الكراهية في وسائل التواصل الاجتماعي.¹⁰ كما هو الحال مع العديد من مهام البرمجة اللغوية العصبية، فإن نسبة كبيرة من أبحاث نمذجة الموضوعات على مر السنين تتعلق باللغة الإنجليزية ولغات النص اللاتيني الأخرى. ومع ذلك، في الآونة الأخيرة، استكشفت الأبحاث مناهج نمذجة الموضوعات للّغة العربية واللغات الأخرى غير اللاتينية.¹¹ تحوَّلت الأبحاث أيضًا إلى كيفية تقدُّم نماذج اللغة الكبيرة (LLMs) وتحسين نماذج الموضوعات. على سبيل المثال، تُشير إحدى الدراسات إلى أن LLMs توفِّر طريقة آلية لحل المشكلات القديمة في نمذجة الموضوعات، وهي تحديد العدد المناسب من المواضيع وتقييم الموضوعات التي تم توليدها.¹²