19 يناير 2024
يكمن جوهر تمييز حقيبة الكلمات في حساب تكرار الكلمات في المستندات النصية بهدف معالجتها في نماذج التعلم الآلي، حيث يُنتج تباين تكرار المصطلح - تكرار المستند العكسي (TF-IDF) الخاص بالميزة نماذج تأخذ في الاعتبار تكرار الكلمات عبر مجموعة من المستندات.
تُعد حقائب الكلمات "Bag of words" (BoW؛ تُكتب أيضًا "bag-of-words") تقنيةً لاستخراج العناصر التي تُستخدم لنمذجة البيانات النصية من أجل معالجتها في خوارزميات استرجاع المعلومات والتعلم الآلي. وبشكل أكثر تحديدًا، تُعد نماذج BoW مجموعة غير منسقة من جميع الكلمات المعروفة في المستندات النصية والتي تُحدد وفقًا لمعدل التكرار فقط مع تجاهل ترتيب الكلمات والسياق.1 تُعدُّ حقائب الكلمات واحدة من عدة خطوات في العديد من عمليات استخراج النصوص.
تأتي معظم حزم معالجة اللغة الطبيعية (NLP) مزودة بدَوَال لإنشاء نماذج حقيبة الكلمات، مثل دالة CountVectorizer في scikit-learn.
أحدث الأخبار والرؤى حول الذكاء الاصطناعي
تتوفر معارف وأخبار منسقة بمهارة حول الذكاء الاصطناعي والسحابة وغيرها في نشرة Think الإخبارية الأسبوعية.
قد يبدو تمييز حقيبة الكلمات في البداية شكلًا بسيطًا من معالجة النصوص للمبتدئين، نظرًا لبساطته المفترضة في حساب عدد الكلمات في مجموعة نصوص معينة، ومع ذلك، فإن نماذج حقيبة الكلمات أكثر تعقيدًا.
يتطلب فهم تمييز حقيبة الكلمات معرفة مبدئية على الأقل بالمساحات المتجهة، فالمساحة المتجهة هي مساحة متعددة الأبعاد حيث تُرسم فيها النقاط. وفي منهجية حقيبة الكلمات، تصبح كل كلمة منفردة بُعدًا منفصلًا (أو محورًا) في المساحة المتجهة. فإذا كانت مجموعة النصوص تحتوي على عدد n من الكلمات، فستكون المساحة المتجهة الناتجة مكوّنة من n أبعاد؛ هي عبارة غن بُعد واحد لكل كلمة فريدة في مجموعة النصوص. وبعد ذلك، يرسم النموذج كل مستند نصي منفصل كنقطة في المساحة المتجهة. ويُحدد موقع النقطة على بُعد معين بناءً على عدد المرات التي تظهر فيها كلمة ذلك البُعد في المستند الخاص بتلك النقطة.
فعلى سبيل المثال، بفرض أن لدينا مجموعة نصوص تتضمن محتويات مستندين منفصلين كالتالي:
مستند 1: A rose is red, a violet is blue
مستند 2: My love is like a red, red rose
ونظرًا لصعوبة تخيل شيء يتجاوز المساحة ثلاثية الأبعاد، سنكتفي بذلك، حيث أن المساحة المتجهة لمجموعة تحتوي على هذين المستندين ستكون مكوّنة من أبعاد منفصلة للكلمات: red، وrose، وviolet. فقد تبدو المساحة المتجهة ثلاثية الأبعاد لهذه الكلمات كالتالي:
بما أن الكلمات red، وrose، وviolet تظهر مرة واحدة في المستند 1، سيكون المتجه لذلك المستند في هذه المساحة هو (1,1,1). بينما في المستند 2، تظهر كلمة red مرتين، وrose مرة واحدة، وviolet لا تظهر على الإطلاق. لذا، فإن نقطة المتجه للمستند 2 ستكون (2,1,0)، وستُرسم كلتا نقطتي المستندين في المساحة المتجهة ثلاثية الأبعاد كالتالي:
لاحظ أن هذا الشكل يُصور المستندات النصية كمتجهات بيانات في فضاء العناصر ثلاثي الأبعاد. ولكن يُمكن أن تُمثل حقيبة الكلمات كلمات أيضًا كمتجهات عناصر في فضاء البيانات. حيث يُشير متجه العناصر إلى قيمة (الظهور) إحدى العناصر (الكلمة) في نقطة بيانات محددة (المستند). لذا فإن متجهات العناصر للأحمر والوردي والبنفسجي في المستندين 1 و2 ستبدو كما يلي:2
لاحظ أن ترتيب الكلمات في المستندات الأصلية غير مهم. ففي نموذج حقيبة الكلمات، كل ما يهم هو عدد مرات ظهور كل كلمة عبر مجموعة النصوص.
نظرًا إلى أن نماذج حقيبة الكلمات تقيس فقط معدل تكرار الكلمات في مستند معين، فإن حقيبة الكلمات تُوصف في كثير من الأحيان كتقنية نمذجة بسيطة. ولكن حقيبة الكلمات تساعد في العديد من مهام معالجة اللغة الطبيعية (NLP)، ومن أبرزها تصنيف المستندات. في الواقع، غالبًا ما تناقش الأدبيات حقائب الكلمات مع المصنفات الإحصائية مثل مصنف بايز البسيط.3
تُفسر مهام تصنيف النصوص الكلمات ذات معدل التكرار العالي في مستند ما على أنها تمثل الأفكار الرئيسية للمستند.4 وهذا ليس افتراضًا غير منطقي. فعلى سبيل المثال، إذا كانت بعض الكلمات الأكثر تكرارًا في مستند ما هي "رئيس"، و"ناخبين"، و"انتخابات"، فثمة احتمال كبير أن يكون المستند نصًا سياسيًا يناقش انتخابات رئاسية. وعليه، تستنج خوارزميات تصنيف النصوص باستخدام طريقة حقيبة الكلمات أن المستندات ذات المحتوى المتشابه هي من النوع نفسه.
على الرغم من أن المصنِّفات الاحتمالية التي تستخدم نهج حقيبة الكلمات أثبتت فعاليتها إلى حدٍ كبير، إلا أن هناك عدة عيوب لهذا النهج.
ترابط الكلمات. يفترض نهج حقائب الكلمات أن الكلمات ليس لها صلة ببعضها في المستندات أو في مجموعة النصوص. فعلى سبيل المثال، كلمة انتخابات من المرجح أن تظهر في سياق مشترك مع كلمة "رئيس" أكثر من كلمة "شاعر". وعند قياس معدل تكرار كل مصطلح على حدة، لا يراعي نهج حقائب الكلمات الارتباطات في استخدام الكلمات. ونظرًا إلى أن نهج حقائب الكلمات يستخرج كل كلمة في المستند كعنصر في نموذج حقيبة الكلمات، مع كون معدل تكرار المصطلح هو وزن ذلك العنصر، يمكن نظريًا أن تتسبب كلمتان أو أكثر مرتبطتان في إحداث مشكلة تعدد الارتباطات في المصنفات الإحصائية التي تستخدم هذا النموذج. ومع ذلك، أثبت الافتراض التبسيطي لمصنف بايز البسيط أنه يمكن إنشاء نماذج فائقة على الرغم من أوجه القصور المحتملة.5
الكلمات المركبة. يمتد ارتباط الكلمات ليشمل تمثيلات حقيبة الكلمات للعبارات المركبة، حيث تعمل كلمتان أو أكثر كوحدة دلالية واحدة. فعلى سبيل المثال، قد يُمثل نموذج حقيبة الكلمات البسيط عبارة "مستر دارسي" ككلمتين منفصلتين وغير مرتبطتين، رغم أنهما تعملان معًا كوحدة واحدة. وهذا التمثيل باستخدام حقيبة الكلمات يفشل في عكس الطبيعة الدلالية والنحوية للمفاهيم المكونة من عدة كلمات.
الكلمات متعددة المعاني. كثيرٍ من الكلمات تحمل معانٍ متعددة تختلف بشكل كبير. فعلى سبيل المثال، يمكن أن تعني كلمة "bat" إما أداة رياضية أو حيوانًا، وعادةً ما تحدث هذه المعاني في سياقات مختلفة تمامًا. وبالمثل، يمكن أن تتغير معاني الكلمات حسب موقع النبرة (التركيز) في اللغة المنطوقة-مثل الفرق بين "CON-tent" و"con-TENT". ونظرًا لأن حقيبة الكلمات لا تأخذ في الاعتبار السياق والمعنى عند نمذجة الكلمات، فإنها تدمج جميع هذه المعاني المختلفة تحت كلمة واحدة، مما يؤدي إلى فقدان معلومات مهمة قد تكون حاسمة في تصنيف النصوص.
الندرة. في نموذج حقيبة الكلمات، كل كلمة تُعد عنصرًا، أو بُعدًا، في النموذج، وكل مستند يُعد متجهًا. ونظرًا إلى أن المستند لا يستخدم كل كلمة في المفردات التي ينتجها النموذج، قد تكون العديد من قيم عناصر متجه معين صفرية. وعندما تكون غالبية قيم المتجهات صفرية، يُشير ذلك إلى أن النموذج يُعاني من مشكلة ندرة البيانات (وإذا عُرضت المتجهات في مصفوفة، تسمى هذه المصفوفة مصفوفة نادرة البيانات). وتؤدي ندرة البيانات في النموذج إلى ارتفاع الأبعاد، ما يؤدي بدوره إلى الإفراط في تخصيص بيانات التدريب.6
حقائب سلاسل الكلمات (n-grams).استخدام سلاسل الكلمات بدلاً من الكلمات من شأنه أن يصحح عددًا من العيوب المتأصلة في نماذج حقيبة الكلمات. فبدلاً من إنشاء نموذج تُعد فيه كل كلمة عنصرًا، يمكن استخدام سلاسل الكلمات كعناصر للمتجهات. وفي هذا السياق، يشير الحرف n إلى عدد الكلمات التي تعامل كوحدة دلالية واحدة، ولعل الأكثر شيوعًا في حقائب سلاسل الكلمات هي الكلمات الثنائية (أي المكونة من كلمتين). وللكلمات الثنائية ميزة متمثلة في أنها يمكن أن تراعي الكلمات المركبة، مثل نيو يورك أو برج إيفيل. بالطبع، ليست كل الكلمات الثنائية لها معنى مفيدًا، مثل on the أو of the. ومع ذلك، فإنها تُعد إحدى طرق التعامل مع مسائل مثل الكلمات المركبة وترابط الكلمات.7
تقنيات تنظيم النصوص. قد يكون من الضروري تنظيم البيانات النصية غير المنسقة لتحسين هيكل ووظيفة نماذج حقيبة الكلمات. فعند إنشاء نموذج حقيبة الكلمات أو حقيبة الـ n-grams، قد تكون الكلمات مثل الأدوات (مثل: a، the، وما إلى ذلك) وحروف الجر (مثل: from، of، on، وما إلى ذلك) هي الأكثر تكرارًا. وهذه الكلمات لا تُدلي بالكثير من المعلومات حول محتوى المستند أو نوعه، ومن ثَم فهي غير مجدية إلى حدٍ كبير في مهام التصنيف. يمكن أن تساعد تقنيات مهام ما قبل معالجة النصوص مثل إزالة الكلمات الشائعة (التي تُستخدم غالبًا في التجذيع) على إزالة الكلمات غير ذات الصلة من مجموعات البيانات النصية لتحسين هيكل نماذج حقيبة الكلمات. ولحسن الحظ، تكون الكثير من مكتبات Python وحزمها، مثل مجموعة أدوات اللغة الطبيعية (NLTK) أو sklearn، مزودة بدوال لتنفيذ تقنيات مهام ما قبل المعالجة الشائعة.
التجزئة. تُحول ميزة "التجزئة" كل كلمة من البيانات النصية المدخلة إلى مجموعة رقمية ذات حجم ثابت. وعندئذٍ يُستخدم هذا النطاق الثابت من الأرقام لبناء فضاء متجهات لنموذج حقيبة الكلمات. ويُساعد تحديد نطاق الأرقام - وبالتبعية أبعاد النموذج – في حجم ثابت على تجنب ندرة البيانات وارتفاع الأبعاد. ويُعد التعارض عيبًا رئيسيًا من عيوب التجزئة. حيث يحدث تعارض التجزئة عند تحديد رقم صحيح واحد لرمزين غير مرتبطتين. ومن عيوب التجزئة أيضًا أنها لا تراعي الكلمات متعددة المعاني.8
تكرار المصطلح - تكرار المستند العكسي (TF-IDF)
في نماذج حقيبة الكلمات التقليدية، يمكن أن تكون الكلمات غير المهمة من الناحية الدلالية (مثل: the، some، وما إلى ذلك) هي الأعلى تكرارًا، وبالتالي لها الوزن الأكبر في النموذج. لذلك، يهدف مصنِّف تكرار المصطلح - تكرار المستند العكسي (TF-IDF) إلى تصحيح ذلك. وفي حين أن حقيبة الكلمات لا تعتمد إلا على عدد المرات التي تظهر فيها الكلمة في مستند واحد، يأخذ مصنِّف تكرار المصطلح - تكرار المستند العكسي (TF-IDF) في الاعتبار انتشار الكلمة عبر جميع المستندات في مجموعة النصوص. ويتمثل مصنِّف تكرار المصطلح - تكرار المستند العكسي (TF-IDF) في المعادلة التالية:
في هذه المعادلة، يمثل الجزء الأول القيمة التي يحسبها نموذج حقيبة الكلمات، وهي معدل تكرار المصطلحات. بينما يمثل الجزء الثاني معدل تكرار المستند العكسي. وتمثل N إجمالي عدد المستندات في مجموعة النصوص، وn تمثل عدد المستندات التي تظهر فيها كلمة معنية. وكلما زاد عدد المستندات التي تظهر فيها الكلمة، قلل مقياس تكرار المصطلح- تكرار المستند العكسي (TF-IDF) من وزن تلك الكلمة. وبهذه الطريقة، يُعد مقياس TF-IDF مثالاً على تقييم العناصر في نماذج التعلم الآلي.9
مثلما هو الحال مع نماذج حقيبة الكلمات العامة، غالبًا ما تحتوي حزم معالجة اللغة الطبيعية على وظائف جاهزة لتنفيذ مصنِّف تكرار المصطلح - تكرار المستند العكسي (TF-IDF)، مثل وظيفة tfidfvectorizer في scikit-learn.
تُستخدم أشكال مختلفة من نماذج حقيبة الكلمات في مجموعة متنوعة من مهام معالجة اللغة الطبيعية. تُستخدم أشكال مختلفة من نماذج حقيبة الكلمات في مجموعة متنوعة من مهام معالجة اللغة الطبيعية. على سبيل المثال، تستخدم شبكة Word2vec العصبية حقيبة كلمات ثابتة لإنتاج نماذج تضمين الكلمات. 10 كما يمكن استخدام نماذج حقيبة الكلمات في التحليل الدلالي والتصنيف.11
تركز الأبحاث الأولية حول العديد من تقنيات معالجة اللغة الطبيعية جُلّ اهتمامها على اللغة الإنجليزية أو اللغات الأخرى ذات الأبجدية اللاتينية، مثل الإسبانية أو الفرنسية. ومؤخرًا، اتجه الباحثون إلى لغات أخرى مثل اللغة العربية. تناولت الدراسات الحديثة مدى فعالية نماذج حقائب الكلمات جنبًا إلى جنب مع غيرها من أدوات مع معالجة اللغة الطبيعية مثل word2vec في تحليل المشاعر وتصنيف النصوص العربية وتوصلت إلى نتائج مبهرة.12 وأثبتت دراسات أخرى كفاءة إمكانات مصنف بايز البسيط القائم على نماذج حقيبة الكلمات في توضيح معاني الكلمات في النصوص المكتوبة باللغة السنسكريتية.13
خضعت طرق حقائب الكلمات للاختبارات ضمن خوارزميات الكشف عن خطابات الكراهية على منصات التواصل الاجتماعي وحققت نتائج متباينة. تُقارن إحدى الدراسات بين حقيبة الكلمات مع word2vec ومصنفات التعلم العميق مثل BERT، موضحةً أن BERT يتفوق على حقيبة الكلمات وأن مقياس TF-IDF لا يُحسّن تنبؤات نماذج حقيبة الكلمات بشكل كبير.14 وفي المقابل، عرضت دراسة حديثة خوارزمية تستخدم حقائب الكلمات ومصنف بايز البسيط للكشف عن خطاب الكراهية، وبلغ مستوى دقتها حوالي 99%.15 يمكن أن يرجع سبب اختلاف هذه النتائج إلى اختلاف حجم البيانات وأخذ العينات، بالإضافة إلى مهام ما قبل معالجة النصوص. ففي الواقع، أشارت دراسات أخرى إلى أن وجه المقارنة بين أداء BERT والمصنفات التي تستخدم حقائب الكلمات يعتمد على أحجام فئات التصنيف في مجموعات البيانات.16
في الآونة الأخيرة، تبنت مجتمعات رؤية الكمبيوتر نوعًا خاصًا بهم من حقائب الكلمات لاستخراج العناصر في مهام تصنيف الصور واسترجاعها. وتُحدد هذه الطريقة أوصاف الصور وتستخرجها وتجمع الأجزاء المتشابهة معًا بوصفها "كلمات رمزية". فكثير من تحديات طرق استخدام حقائب الكلمات في تصنيف الصور هي نفسها الموجودة في مهام رؤية الكمبيوتر الأخرى: مثل الأجسام ذات الألوان أو الخلفيات المتشابهة، والأجسام المحجوبة والمتداخلة، والتباين داخل الفئة نفسها، وما إلى ذلك.17
حلول ذات صلة
يمكنك بسهولة تصميم مساعدي ووكلاء الذكاء الاصطناعي القابلين للتوسع وأتمتة المهام المتكررة وتبسيط العمليات المعقدة باستخدام IBM watsonx Orchestrate.
تسريع قيمة الأعمال باستخدام مجموعة قوية ومرنة من مكتبات وخدمات وتطبيقات الذكاء الاصطناعي.
أعدّ ابتكار عمليات ومهام سير العمل الحساسة بإضافة الذكاء الاصطناعي لتعزيز التجارب وصنع القرارات في الوقت الفعلي والقيمة التجارية.
الموارد
IBM® ™Granite هي مجموعة من نماذج الذكاء الاصطناعي المفتوحة والموثوقة وذات الأداء العالي والتي صُمِمَت خصيصًا للأعمال وجرى الارتقاء بها على النحو الأمثل لتوسيع نطاق تطبيقات الذكاء الاصطناعي لديك. استكشف خيارات اللغة والتعليمات البرمجية والسلاسل الزمنية وضوابط الحماية.
اكتشف كيف يمكن أن تساعدك معالجة اللغة الطبيعية على التحدث بشكل أكثر طبيعية مع أجهزة الكمبيوتر.
لقد قمنا باستطلاع آراء 2000 مؤسسة حول مبادرات الذكاء الاصطناعي لديها لمعرفة ما ينجح وما لا ينجح وكيف يمكنك المضي قدمًا.
استكشف الموقع الإلكتروني لمطوري IBM للوصول إلى المدونات والمقالات والنشرات الإخبارية وتعرف على المزيد عن الذكاء الاصطناعي القابل للتضمين من IBM.
الحواشي
1 Ruslan Mitkov (ed.)، دليل أكسفورد للغويات الحاسوبية، 2 الطبعة الثانية، مطبعة جامعة أكسفورد، عام 2014.
2 Alice Zheng وAmanda Casari، هندسة مزايا التعلم الآلي، O’Reilly، عام 2018.
3 Daniel Jurafsky وJames Martin، معالجة الكلام واللغات: مقدمة في معالجة اللغة الطبيعية، واللغويات الحاسوبية، والتعرف على الكلام، الطبعة الثالثة، عام 2023، https://web.stanford.edu/~jurafsky/slp3. Christopher Manning وHinrich Schütze، أسس المعالجة الإحصائية للغة الطبيعية، مطبعة MIT Press، عام 2000.
4 Dongyang Yan وKeping Li وShuang Gu وLiu Yang، "نماذج حقائب الكلمات القائمة على الشبكة وتصنيف النصوص"، مجلة IEEE Access، العدد 8، عام 2020، ص. 82641-82652، https://ieeexplore.ieee.org/document/9079815.
5 Christopher Manning وHinrich Schütze, أسس المعالجة الإحصائية للغة الطبيعية، مطبعة MIT Press، عام 2000.
6 Dani Yogatama، "النماذج نادرة البيانات ونصوص اللغة الطبيعية"، أطروحة دكتوراة، جامعة Carnegie Mellon University، عام 2015، https://lti.cmu.edu/people/alumni/alumni-thesis/yogatama-dani-thesis.pdf
7 Yoav Goldberg، طرق الشبكة العصبية لمعالجة اللغة الطبيعية، Springer، عام 2022.
8 Alice Zheng وAmanda Casari، هندسة مزايا التعلم الآلي، O’Reilly، عام 2018.
9 Alice Zheng وAmanda Casari، هندسة مزايا التعلم الآلي، O’Reilly، عام 2018.
10 Tomas Mikolov وKai Chen وGreg Corrado وJeffrey Dean، "تقدير كفاءة تمثيلات الكلمات في فضاء المتجهات"، وقائع أعمال ورشة عمل المؤتمر الدولي الأول حول تمثيلات التعلم (ICLR)، عام 2013، https://arxiv.org/abs/1301.3781.
11 Tan Thongtan وTanasanee Phienthrakul، "تصنيف المشاعر باستخدام تضمينات المستندات المدربة بتشابه جيب التمام"، وقائع الاجتماع السنوي السابع والخمسين لجمعية اللغويات الحاسوبية: ورشة عمل أبحاث الطلاب، عام 2019، ص. 407-414، https://aclanthology.org/P19-2057/.
12 Huda Abdulrahman Almuzaini وAqil M. Azmi، "تأثير التجذيع وتضمين الكلمات في تصنيف النصوص العربية القائم على التعلم العميق"، مجلة IEEE Access، المجلد 8، عام 2020، ص. 127913-127928، https://ieeexplore.ieee.org/abstract/document/9139948. Mohammed Kasri وMarouane Birjali وAbderrahim Beni-Hssane، "مقارنة بين طرق استخراج العناصر لتحليل المشاعر العربية"، وقائع المؤتمر الدولي الرابع حول البيانات الضخمة وإنترنت الأشياء (BDIoT '19)، عام 2019، https://dl.acm.org/doi/abs/10.1145/3372938.3372998.
13 Archana Sachindeo Maurya وPromila Bahadur وSrishti Garg، "الطريق نحو إزالة الغموض في معاني الكلمات المنقولة من اللغة الإنجليزية إلى اللغة السنسكريتية باستخدام مصنف بايز البسيط"، وقائع ندوة الدكتوراه الثالثة حول الذكاء الحاسوبي،عام 2023، ص. 477–491، https://link.springer.com/chapter/10.1007/978-981-19-3148-2_40.
14 Joni Salminen وMaximilian Hopf وShammur A. Chowdhury وSoon-gyo Jung وHind Almerekhi وBernard J. Jansen، "تطوير مصنِّف كراهية إلكتروني لمنصات التواصل الاجتماعي المتعددة" الحوسبة المنوطة بالإنسان وعلوم المعلومات، المجلد 10، عام 2020، https://hcis-journal.springeropen.com/articles/10.1186/s13673-019-0205-6.
15 Yogesh Pandey وMonika Sharma وMohammad Kashaf Siddiqui وSudeept Singh Yadav، "نموذج الكشف عن خطاب الكراهية باستخدام حقائب الكلمات ومصنف بايز البسيط" كتاب Advances in Data and Information Sciences، عام 2020، ص. 457–470، https://link.springer.com/chapter/10.1007/978-981-16-5689-7_40.
16 Paula Fortuna وJuan Soler-Company وLeo Wanner، "ما مدى نجاح تعميم نماذج تصنيف خطاب الكراهية والضرر والإساءة والإهانة عبر مجموعات البيانات؟"، مجلة Information Processing and Management، المجلد 58، عام 2021، https://www.sciencedirect.com/science/article/pii/S0306457321000339.
17 Wisam A. Qader وMusa M. Ameen وBilal I. Ahmed، "نظرة عامة على حقائب الكلمات: الأهمية، والتنفيذ، والتطبيقات، والتحديات"، وقائع المؤتمر الهندسي الدولي الخامس حول التطورات في تطبيقات الهندسة المدنية والحاسوبية (IEC2019)، عام 2019، ص. 200-204، https://ieeexplore.ieee.org/document/8950616.
