في معالجة اللغة الطبيعية (NLP)، تُعَد نمذجة الموضوعات تقنية من استخراج النصوص تستخدم التعلم غير الخاضع للإشراف على مجموعات كبيرة من النصوص لإنتاج مجموعة مختصرة من المصطلحات التي تمثِّل مجموعة الموضوعات الأساسية للمجموعة ككل.1تساعد نماذج الموضوعات على تصنيف النصوص ومهام استرجاع المعلومات.
تحدِّد نماذج الموضوعات على وجه التحديد الكلمات المفتاحية أو العبارات الشائعة في مجموعة بيانات نصية وتجمع تلك الكلمات تحت عدد من الموضوعات. وتهدف إلى الكشف عن الموضوعات أو الموضوعات الكامنة التي تميّز مجموعة من المستندات. وبذلك تكون نماذج الموضوعات شكلًا من أشكال التحليل النصي القائم على التعلم الآلي وتُستخدم لوضع شروح موضوعية للمجموعات النصية الكبرى.2
يمكن للمستخدمين إنشاء نماذج موضوعات بسهولة باستخدام مجموعة أدوات اللغة الطبيعية (NLTK) من scikit-learn ومكتبة gensim التي تعمل بلغة Python.
الرسالة الإخبارية الخاصة بالمجال
احصل على رؤى منسقة حول أهم أخبار الذكاء الاصطناعي وأكثرها إثارةً للاهتمام. اشترِك في خدمة رسائل Think الإخبارية الأسبوعية. راجع بيان الخصوصية لشركة IBM.
سيتم تسليم اشتراكك باللغة الإنجليزية. ستجد رابط إلغاء الاشتراك في كل رسالة إخبارية. يمكنك إدارة اشتراكاتك أو إلغاء اشتراكك هنا. راجع بيان خصوصية IBM لمزيد من المعلومات.
وبوصفها إحدى أساليب التعلم غير الموجّه، لا تتطلب نماذج الموضوعات إنشاء المستخدم تسميات لبيانات التدريب، كما هو الحال في مهام تصنيف النصوص الموجهة. بل تُنشئ نماذج الموضوعات، وبالتبعية تضع شروحًا، لمجموعات كبيرة من المستندات ذات المعلومات المواضيعية في شكل مجموعات من الكلمات تُعرف بالموضوعات.3 ولكن كيف تُنشئ نماذج الموضوعات هذه المجموعات من الكلمات؟
تتعامل نمذجة الموضوعات مع كل مستند في مجموعة النصوص على حدة على أنه نموذج حقيبة كلمات. ما يعني أن خوارزمية نمذجة الموضوعات تتجاهل ترتيب الكلمات والسياق، وتركز ببساطة على مدى تكرار الكلمات وعدد مرات تشارك الكلمات في الظهور مع بعضها داخل كل مستند على حدة.4
تبدأ معظم أساليب نمذجة الموضوعات بإنشاء مصفوفة المصطلحات والمستندات. تضع هذه المصفوفة مجموعة البيانات النصية بالمستندات في صفوف والكلمات الفردية في أعمدة، أو العكس. وتشير القيم التي تنتجها المصفوفة إلى معدل تكرار ظهور كلمة معينة في كل مستند. وعندئذٍ يمكن استخدام هذه المصفوفة لإنشاء فضاء متجهات، حيث يساوي عدد الكلمات عدد الأبعاد. وتشير القيمة الناتجة عن صف معين إلى منزلة هذا المستند في فضاء المتجهات. لذا ستكون المستندات التي تستخدم كلمات في مجموعات متشابهة وبمعدل تكرار متقارب بالقرب من بعضها في فضاء المتجهات. إذن، تتعامل نماذج الموضوعات مع مدى القرب في فضاء المتجهات على أن المستندات تشترك في المحتوى المفاهيمي أو الموضوعات.5
غير أن نماذج الموضوعات ليست مرادفة لنماذج حقيبة الكلمات. فبينما تكتفي نماذج حقيبة الكلمات بعدّ الكلمات الموجودة داخل مجموعة من المستندات، تجمع نماذج الموضوعات الكلمات التي يشيع تكرار ظهورها مع بعضها في مجموعات الموضوعات. يُصاغ كل موضوع كتوزيع احتمالي عبر مفردات من الكلمات. ثم يُعرض كل مستند في المجموعة بالنظر إلى تلك الموضوعات.6 وبهذه الطريقة، تحاول نماذج الموضوعات بشكل أساسي إجراء هندسة عكسية للخطابات (أي الموضوعات) التي أنتجت المستندات محل الدراسة.7
ولا تُعد خوارزميات نمذجة الموضوعات مجرد أساليب بديلة لأداء مهمة معينة بقدر أنها عمليات تطوير متسلسلة تهدف إلى حل المشكلات التي وُجدت في البداية في نماذج حقيبة الكلمات. يُعد تكرار المصطلح- تكرار المستند العكسي (TF-IDF) تعديلاً لنموذج حقيبة الكلمات، ويهدف إلى معالجة المشكلات الناتجة عن الكلمات الشائعة ولكن غير ذات الصلة دلاليًا من خلال مراعاة مدى تكرار كل كلمة في كل مستند في المجموعات النصية. ويعتمد التحليل الدلالي الكامن (LSA) على مقياس تكرار المصطلح- تكرار المستند العكسي (TF-IDF) بهدف رئيسي يتمثل في معالجة تعدد الدلالات والترادف. ومن هنا نشأ التحليل الدلالي الكامن الاحتمالي (PLSA)، والذي منه نشأ تخصيص دركليه الكامن (LDA). وتتمثل السمة المميزة لنموذج تخصيص دركليه الكامن (LDA) في تشارك جميع المستندات في المجموعة في مجموعة الموضوعات نفسها، وإن كان ذلك بنسب مختلفة.8
يستخدم التحليل الدلالي الكامن (LSA) (المعروف أيضًا باسم الفهرسة الدلالية الكامنة)، تقنية تُعرف باسم تحليل القيمة المفردة (SVD) لتقليل التفرق في مصفوفة الوثيقة-المصطلح. ويساعد هذا في التخفيف من وطأة المشكلات الناتجة عن تعدد المعاني والترادف-أي الكلمات التي لها معانٍ متعددة أو الكلمات المتعددة التي تشترك في معنى واحد.
تشير ندرة البيانات بشكل أساسي إلى الحالة التي تكون فيها غالبية القيم الموجودة في مجموعة بيانات معينة لاغية (أي فارغة). ويحدث هذا بانتظام عند إنشاء مصفوفات مصطلحات المستندات، حيث تكون كل كلمة فردية في صف منفصل وذات بُعد مستقل في فضاء المتجهات، إذ ستفتقر المستندات دائمًا إلى غالبية الكلمات التي قد تكون أكثر شيوعًا في مستندات أخرى. وبالطبع يمكن أن تساعد تقنيات مهام ما قبل معالجة البيانات النصية، مثل إزالة الكلمات الشائعة أو استخدام التجذيع والتجريد، على تقليل حجم المصفوفة. ويقدم التحليل الدلالي الكامن نهجًا أكثر استهدافًا لتقليل الندرة والأبعاد.
يبدأ التحليل الدلالي الكامن بمصفوفة المصطلحات والمستندات التي تعرض عدد مرات ظهور كل كلمة في كل مستند. ومن هنا، ينتج التحليل الدلالي الكامن مصفوفة المستندات ومصفوفة المصطلحات. في حال كانت أبعاد مصفوفة المصطلحات والمستندات تساوي d (المستندات) مضروبة في w (الكلمات)، فإن أبعاد مصفوفة المستندات تساوي d مضروبة في d، وأبعاد مصفوفة المصطلحات تساوي w مضروبة في w. وتشير كل قيمة موجودة في مصفوفة المستندات إلى عدد الكلمات المشتركة بين كل مستند. وتشير كل قيمة موجودة في مصفوفة المصطلحات إلى عدد المستندات التي يظهر فيها مصطلحان معًا.9
باستخدام هاتين المصفوفتين الإضافيتين، تجري خوارزمية التحليل الدلالي الكامن (LSA) تحليل القيمة المنفردة على مصفوفة المصطلحات والمستندات الأولية، وينتج عن ذلك مصفوفات خاصة جديدة من المتجهات الذاتية. وتقسم هذه المصفوفات الخاصة العلاقات الأصلية بين المصطلحات والمستندات إلى عوامل مستقلة خطيًا. ونظرًا إلى أن قيمة الكثير من هذه العوامل قريبة من الصفر، يكون التعامل معها على أنها صفر وتحذف من المصفوفات. ويسهم هذا في تقليل أبعاد النموذج.10
بمجرد تقليل أبعاد النموذج من خلال إجراء تحليل القيمة المنفردة، تقارن خوارزمية التحليل الدلالي الكامن المستندات في الفضاء ذي الأبعاد المنخفضة باستخدام تشابه جيب التمام. ويشير تشابه جيب التمام إلى قياس الزاوية بين متجهين في فضاء المتجهات. ويمكن أن تكون قيمته أي قيمة بين -1 و1. فكلما زادت درجة جيب التمام، دل ذلك على زيادة التشابه بين المستندين. يتمثل تشابه جيب التمام بالصيغة التالية، حيث تشير x وy إلى متجهين للعناصر في فضاء المتجهات:11
يُعد تخصيص دركليه الكامن (LDA) —والذي لا ينبغي الخلط بينه وبين تحليل التمايز الخطي — خوارزمية احتمالية لنمذجة الموضوعات. وهذا يعني أنها تُنشئ موضوعات وتصنف الكلمات والمستندات ضمن هذه الموضوعات، بناءً على توزيعات الاحتمالية. وباستخدام مصفوفة المصطلحات والمستندات، تُنشئ خوارزمية تخصيص دركليه الكامن (LDA) توزيعات الموضوعات (أي قوائم بالكلمات الرئيسية مع الاحتمالات ذات الصلة) وفقًا لمعدل تكرار الكلمات وظهورها مع بعضها. وتفترض الخوارزمية أن الكلمات التي تظهر معًا بشكل متكرر تنتمي على الأرجح إلى موضوعات مماثلة. تحدد الخوارزمية توزيعات الموضوعات والمستندات بناءً على مجموعات الكلمات التي تظهر في المستند المحدد.12
على سبيل المثال، لنفترض أننا أنشأنا نموذج تخصيص Dirichlet الكامن (LDA) لمجموعة من المقالات الإخبارية التي تحتوي على المخرجات الجزئية الآتية:
لدينا هنا موضوعان يمكن وصفهما، على الأرجح، بالهجرة (الموضوع 1) والفلك (الموضوع 2). تمثل الدرجات المرتبطة بكل كلمة احتمالية ظهور تلك الكلمة الرئيسية في الموضوع المحدد لها. أما الاحتمالات المرتبطة بكل وثيقة فهي تمثل احتمالات انتماء تلك الوثيقة إلى مزيج من الموضوعات بناءً على التوزيع وترافق الكلمات من كل موضوع داخل تلك الوثيقة. فعلى سبيل المثال، يسرد الصف الأول في الجدول كلمة الحدود تحت الموضوع 1 باحتمالية 40% وكلمة الفضاء تحت الموضوع 2 باحتمالية 60%. وتشير هذه النسب المئوية إلى احتمالية ورود تلك المصطلحات في الموضوع على مستوى النص الكامل. يقرأ الصف الأول للوثيقة الوثيقة 1: الموضوع 1: 0.95، الموضوع 2: 0.05. وهذا يعني أنه بناءً على ورود الكلمات في الوثيقة 1، يتوقع النموذج أن الوثيقة 1 مشتقة بنسبة 95% من الموضوع 1 وبنسبة 5% من الموضوع 2. بعبارة أخرى، يفترض نموذجنا الافتراضي (LDA) أن هذه هي الموضوعات والنسب المئوية لتلك الموضوعات التي جرى استخدامها لإنشاء النموذج.
وبالطبع فإن الكلمات متعددة المعاني تشكل تحديًّا لهذا التصنيف المنفصل-على سبيل المثال، كلمة alien [دَخِيل] قد تشير إلى مهاجر بشري أو كائن فضائي (من خارج كوكب الأرض). إذا واجهت خوارزميتنا كلمة alien [دَخِيل] في وثيقة، كيف تقرر إلى أي موضوع تنتمي هذه الكلمة (وبالتبعية، الوثيقة)؟
عند تعيين الموضوعات للكلمات، تستخدم خوارزمية تخصيص Dirichlet الكامن (LDA) ما يُعرف بمعاينة Gibbs. صيغة معاينة Gibbs هي:
يتطلب فهم العمليات الدقيقة لهذه المعادلة ومعلمات ضبطها الفائقة معرفة أساسية بعلم الإحصاء وتقنيات سلسلة Markov Monte Carlo (تُستَخدَم هذه التقنيات غالبًا في التعلم المعزز). ومع ذلك، يمكننا تلخيص العناصر الرئيسية للمعادلة على النحو التَّالي:
لاحظ أن معاينة جبس (Gibbs sampling) تُعد عملية متكررة. ما يعني أن الكلمة لا يؤخذ منها عينة واحدة فقط، ثم تُصنف إلى إحدى الموضوعات، ثم تُهمل بعد ذلك. بل تُخضع معاينة جبس كل كلمة إلى العديد من العمليات المتكررة، ما يؤدي إلى تحديث احتمالات الكلمات والموضوعات بناءً على العلاقة بينهما.13
نماذج الموضوعات لها العديد من حالات الاستخدام، بدءًا من النقد الأدبي14 إلى المعلوماتية الحيوية15 وحتى الكشف عن خطاب الكراهية على وسائل التواصل الاجتماعي.16 وكما هو الحال مع العديد من مهام معالجة اللغة الطبيعية، فإن نسبة كبيرة من أبحاث نمذجة الموضوعات على مر السنين تركز على اللغة الإنجليزية واللغات الأخرى التي تكتب بالحروف اللاتينية. ومع ذلك، فقد استكشفت الأبحاث في الآونة الأخيرة أساليب نمذجة الموضوعات بالغة العربية ولغات أخرى غير لاتينية.17
تتطرق الأبحاث الجارية إلى مقاييس تقييم نماذج الموضوعات. في الواقع، لا توجد مقاييس ثابتة تُستَخدَم لتقييم نماذج الموضوعات. وقد تبنت مقاييس التقييم السابقة النهجين النوعي والكمي. ويتطلب النهج النوعي معرفة هائلة ومتخصصة في المجال لتقييم المصطلحات الرئيسية لنموذج الموضوعات حتى يمكن تفسيره.18 وتتألف المقاييس الكمية من درجات أرجحية لوغاريثمية ودرجات ترابط، والتي تهدف إلى قياس مدى أرجحية وتماسك الموضوعات داخل النموذج.19 بيد أن مجموعة كبيرة من الأبحاث توضح أن هذه المقاييس الكمية قد تكون غير موثوقة.20
في محاولة لحل المشكلات المتعلقة بتقييم نماذج الموضوعات، تطرقت إحدى الدراسات إلى تطبيقات الذكاء الاصطناعي، ولا سيِّما النماذج اللغوية الكبرى (LLMs)، من أجل استخدامها كوسيلة لتصميم نماذج تخصيص دركليه الكامن (LDA) وتقييمها لأهداف بحثية محددة. وأوضحت الدراسة أن النماذج اللغوية الكبرى (LLMs) يمكن أن تساعد على حل مشكلات نمذجة الموضوعات طويلة الأمد، ولا سيما كيفية تحديد العدد المناسب من الموضوعات وتقييمها.21 كما لجأت دراسات أخرى إلى تطبيقات النماذج اللغوية الكبرى (LLMs) كوسيلة لمعالجة مشكلة التقييم في نمذجة الموضوعات.22
يمكنك بسهولة تصميم مساعدي ووكلاء الذكاء الاصطناعي القابلين للتوسع وأتمتة المهام المتكررة وتبسيط العمليات المعقدة باستخدام IBM watsonx Orchestrate.
تسريع قيمة الأعمال باستخدام مجموعة قوية ومرنة من مكتبات وخدمات وتطبيقات الذكاء الاصطناعي.
أعدّ ابتكار عمليات ومهام سير العمل الحساسة بإضافة الذكاء الاصطناعي لتعزيز التجارب وصنع القرارات في الوقت الفعلي والقيمة التجارية.
1 Daniel Jurafsky and James Martin, Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, 3rd edition, 2023, https://web.stanford.edu/~jurafsky/slp3/
2 Jay Alammar وMaarten Grootendorst، دليل النماذج اللغوية الكبرى، O’Reilly، عام 2024.
3 David Blei، "Probabilistic Topic Models" (نماذج الموضوعات الاحتمالية)، مجلة Communications of the ACM، المجلد 55، رقم 4، عام 2012، ص. 77-84.
4 Matthew Jockers، كتاب Text Analysis with R for Students of Literature، Springer، عام 2014.
5 Cole Howard وHobson Lane وHannes Hapke، آلية معالجة اللغة الطبيعية، Manning Publications، عام 2019. Sowmya Vajjala، وBodhisattwa Majumder، وAnuj Gupta، وHarshit Surana، دليل عملي لمعالجة اللغة الطبيعية، O’Reilly، عام 2020.
6 Chandler Camille May، "رسالة Topic Modeling in Theory and Practice" (نمذجة الموضوعات: النظرية والتطبيق)، جامعة جون هوبكنز، عام 2022.
7 دليل عملي لمعالجة اللغة الطبيعية، O’Reilly. David Blei، "نمذجة الموضوعات الاحتمالية"، مجلة Communications of the ACM، المجلد 55، رقم 4، عام 2012، ص. 77-84.
8 Cole Howard، وHobson Lane، وHannes Hapke، آلية معالجة اللغة الطبيعية، Manning Publications، Deerwester، "التصنيف بالتحليل الدلالي الكامن"، David Blei، "نمذجة الموضوعات الاحتمالية"، مجلة Communications of the ACM، المجلد 55، رقم 4، عام 2012، ص. 77-84.
9 Hana Nelson, Essential Math for AI, O’Reilly, 2023. Scott Deerwester, Susan Dumais, George Furnas, Thomas Landauer, and Richard Harshman, “Indexing by Latent Semantic Analysis,” Journal of the American Society for Information Science, Vol. 41, No. 6, 1990, pp. 391-407, https://asistdl.onlinelibrary.wiley.com/doi/abs/10.1002/%28SICI%291097-4571%28199009%2941%3A6%3C391%3A%3AAID-ASI1%3E3.0.CO%3B2-9
10 Scott Deerwester, Susan Dumais, George Furnas, Thomas Landauer, and Richard Harshman, “Indexing by Latent Semantic Analysis,” Journal of the American Society for Information Science, Vol. 41, No. 6, 1990, pp. 391-407, https://asistdl.onlinelibrary.wiley.com/doi/abs/10.1002/%28SICI%291097-4571%28199009%2941%3A6%3C391%3A%3AAID-ASI1%3E3.0.CO%3B2-9
11 Elsa Negre، أنظمة المعلومات والتوصية، مجلد 4، Wiley-ISTE، عام 2015. Hana Nelson، أسس الرياضيات في الذكاء الاصطناعي، O’Reilly، عام 2023.
12 Sowmya Vajjala، وBodhisattwa Majumder، وAnuj Gupta، وHarshit Surana، دليل عملي لمعالجة اللغة الطبيعية، O’Reilly، عام 2020. David Blei، وAndrew Ng، وMichael Jordan، "تخصيص دركليه الكامن"، مجلة Machine Learning Research، مجلد 3، عام 2003، ص. 993-1022.
13 Zhiyuan Chen وBing Liu، "نماذج الموضوعات لتطبيقات معالجة اللغات الطبيعية"، موسوعة التعلم الآلي وعلوم البيانات، Springer، عام 2020.
14 Derek Greene, James O’Sullivan, and Daragh O’Reilly, “Topic modelling literary interviews from The Paris Review,” Digital Scholarship in the Humanities, 2024, https://academic.oup.com/dsh/article/39/1/142/7515230?login=false
15 Yichen Zhang, Mohammadali (Sam) Khalilitousi, and Yongjin Park, “Unraveling dynamically encoded latent transcriptomic patterns in pancreatic cancer cells by topic modeling,” Cell Genomics, Vol. 3, No. 9, 2023, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10504675/
16 Richard Shear, Nicholas Johnson Restrepo, Yonatan Lupu, and Neil F. Johnson, “Dynamic Topic Modeling Reveals Variations in Online Hate Narratives,” Intelligent Computing, 2022, https://link.springer.com/chapter/10.1007/978-3-031-10464-0_38
17 Abeer Abuzayed and Hend Al-Khalifa, “BERT for Arabic Topic Modeling: An Experimental Study on BERTopic Technique,” Procedia Computer Science, 2021, pp. 191-194, https://www.sciencedirect.com/science/article/pii/S1877050921012199 . Raghad Alshalan, Hend Al-Khalifa, Duaa Alsaeed, Heyam Al-Baity, and Shahad Alshalan, “Detection of Hate Speech in COVID-19--Related Tweets in the Arab Region: Deep Learning and Topic Modeling Approach,” Journal of Medical Internet Research, Vol. 22, No. 12, 2020, https://www.jmir.org/2020/12/e22609
18 Matthew Gillings and Andrew Hardie, “The interpretation of topic models for scholarly analysis: An evaluation and critique of current practice,” Digital Scholarship in the Humanities, Vol. 38, No. 2, 2023, pp. 530–543, https://academic.oup.com/dsh/article-abstract/38/2/530/6957052
19 Chandler Camille May، "رسالةTopic Modeling in Theory and Practice" (نمذجة الموضوعات: النظرية والتطبيق)، جامعة جون هوبكنز، عام 2022.
20 Zachary Lipton, “The Mythos of Model Interpretability: In machine learning, the concept of interpretability is both important and slippery,” Queue, Vol. 13, No. 3, 2018, pp. 31-57, https://dl.acm.org/doi/10.1145/3236386.3241340 Caitlin Doogan and Wray Buntine, “Topic Model or Topic Twaddle? Re-evaluating Semantic Interpretability Measures,” Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies” 2021, pp. 3824-3848, https://aclanthology.org/2021.naacl-main.300.pdf. Alexander Hoyle, Pranav Goel, Andrew Hian-Cheong, Denis Peskov, Jordan Boyd-Graber, and Philip Resnik, “Is Automated Topic Model Evaluation Broken? The Incoherence of Coherence,” Advances in Neural Processing Systems, vol. 34, 2021, https://proceedings.neurips.cc/paper_files/paper/2021/hash/0f83556a305d789b1d71815e8ea4f4b0-Abstract.html
21 Dominik Stammbach, Vilém Zouhar, Alexander Hoyle, Mrinmaya Sachan, and Elliott Ash, “Revisiting Automated Topic Model Evaluation with Large Language Models,” Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023, https://aclanthology.org/2023.emnlp-main.581
22 Eric Chagnon, Ronald Pandolfi, Jeffrey Donatelli, and Daniela Ushizima, “Benchmarking topic models on scientific articles using BERTeley,” Natural Language Processing Journal, Vol. 6, 2024, pp. 2949-7191, https://www.sciencedirect.com/science/article/pii/S2949719123000419 . Han Wang, Nirmalendu Prakash, Nguyen Khoi Hoang, Ming Shan Hee, Usman Naseem, and Roy Ka-Wei Lee, “Prompting Large Language Models for Topic Modeling,” Proceedings of the 2023 IEEE International Conference on Big Data, 2023, pp. 1236-1241, https://www.computer.org/csdl/proceedings-article/bigdata/2023/10386113/1TUOz14EiBy