ما نموذج الخليط الغاوسي؟

التوزيع الغاوسي الواحد، المعروف أيضًا باسم "التوزيع الطبيعي"، يصف العديد من الظواهر الطبيعية. غالبًا ما تكون توزيعات أطوال الطلاب في الفصل، وأوزان الأطفال حديثي الولادة، وأعمار تشغيل القطع الميكانيكية توزيعات غاوسية.

ومع ذلك، فإن التوزيع الغاوسي الفردي لا يناسب نمذجة مجموعات البيانات التي تحتوي على عدة تجمعات أو التي تتميز بميول كبيرة أو ذيول ثقيلة. في هذه الحالات، قد تكون نماذج GMM أكثر ملاءمة.

تستخدم نماذج GMM التعلم غير الخاضع للإشراف لإنشاء نموذج احتمالي يفترض أن البيانات يتم إنشاؤها من مجموعة من العديد من التوزيعات الغاوسية. بدلاً من افتراض أن جميع البيانات تأتي من توزيع طبيعي واحد (نموذج غاوسي واحد)، يفترض نموذج GMM وجود توزيعات طبيعية متعددة، يمثل كل منها "مجموعة" أو "مجموعة فرعية" مختلفة في مجموعة البيانات، ولكل منها متوسطها وتباينها الخاص.

في حالة الطلاب، تخيَّل المرتفعات بتوزيع ثنائي النسق، لكن الهوية الجنسية للطلاب غير معروفة. في حالة قطع غيار الآلات، تخيَّل أن الأجزاء ربما جاءت من مورِّدين مختلفين، أحدهما يصنع أجزاء ذات جودة أعلى من الآخر. وفي كِلتا الحالتين، قد يكون من المفيد حساب المجموعة السكانية الفرعية التي تنتمي إليها نقطة البيانات وخصائص تلك المجموعة الفرعية.

تتمتع نماذج GMM بالعديد من التطبيقات في العالم الحقيقي والتي تتجاوز التجميع: التجزئة، وتقدير الكثافة، وكشف الشذوذ، والتعرُّف على الأنماط، كل ذلك يمكن تقريبه بواسطة GMM.

فيما يلي توزيع صعب يُظهر بوضوح أنه ليس غاوسي:

يمكن محاولة إيجاد معادلة هذا المنحنى باستخدام المطابقة متعددة الحدود أو التقريب المثلثي، لكن نماذج الخليط الغاوسي توفِّر بديلًا قويًا وقد يكون أقل استهلاكًا للموارد الحسابية. هذا التوزيع هو في الواقع ثلاثة توزيعات غاوسية مختلفة مجتمعة:

سيؤدي GMM إلى تحلل التوزيع أعلاه إلى ثلاثة توزيعات غاوسية مختلفة وحساب المَعلمات لكل توزيعة. التوزيعات الموضحة أعلاه لها بُعد واحد، لكن نماذج GMM تعمل مع التوزيعات ذات الأبعاد الأعلى أيضًا. يمكن تفكيك خليط ثنائي الأبعاد من توزيعين غاوسيَين إلى توزيعين منفصلين.

عند استخدامه كخوارزمية تجميع، فإن كل غاوسي في نموذج الخليط لديه ثلاثة مَعلمات رئيسية:

• المتجه المتوسط (μ): مركز المجموعة. في توزيع 1D، سيكون هذا متجه أحادي القيمة. في توزيع ذي عدد n من الأبعاد، سيكون هذا متجهًا ذا قيمة n.
  
  
• مصفوفة التباين (Σ): هذا هو انتشار/شكل الغاوسي نفسه. في التوزيع أحادي الأبعاد، سيكون ذلك قيمة واحدة، وفي التوزيع أحادي الأبعاد، سيكون ذلك مصفوفة n × n.
  
  
• وزن الخلط (π): هو احتمال أن تكون نقطة البيانات المختارة عشوائيًا قد نشأت عن طريق العنصر. إنها ليست في الواقع ميزة من ميزات التوزيع الغاوسي نفسه، بل من ميزات النموذج، حيث إنه يجمع بين توزيعات غاوسية مختلفة لتمثيل البيانات التي يلائمها.

الهدف من نماذج الخليط الغاوسي (GMM) هو تقدير مَعلمات كل توزيع غاوسي في النموذج، وكذلك تحديد أي من هذه التوزيعات ينتمي إليها كل عنصر من البيانات. المتغير الكامن، الذي يُشار إليه غالبًا بـ z، هو التوزيع الغاوسي الذي من بين جميع التوزيعات المحددة في النموذج أنتج نقطة البيانات المعطاة. يُسمَّى هذا المتغير "كامنًا" لأنه متغير مخفي (أو غير مرصود) يمكن تعلمه من النموذج.

لكل نقطة xn، هناك $z_n$  (حيث n هو عدد العناصر) هذا هو الغاوسي الذي تم إنشاؤه  $x_i$  (i في هذه الحالة هو عدد نقاط البيانات).  $z_n$  لا تتم ملاحظته أبدًا في البيانات، فقط النقطة  $x_i$ . بالإضافة إلى ذلك، العنصر الغاوسي الذي تم إنتاجه $x_i$ لا يمكن ملاحظته. بدلًا من ذلك، تستنتج خوارزمية زيادة التوقع في النموذج توزيعًا لقيم z المحتملة.

يتم ترجيح كل عنصر غاوسي بمعامل خلط، وهو ما يمثِّل تقديرًا لمدى تأثير كل توزيع في موقع نقطة البيانات المحددة هذه. في سيناريو التجميع، يعكس وزن الخلط الحجم النسبي لكل المجموعة. تنص نماذج GMM: للعثور على احتمال x، تخيَّل أن أول شخص يختار عشوائيًا غوسيًا واحدًا وفقًا لـ  ${\pi }_k$ ، ثم يرسم x من ذلك الغاوسي. إذن  $p\left(x\right)$ هو خليط من كثافة العناصر. إذا كان x قريبًا من وسائل متعددة  ${\mu }_k$ ، قد يعيّنها العديد من الغاوسيين على أنها احتمالية كبيرة، وتتراكم مساهماتهم. النموذج الكامل هو مجموع موزون لهذه التوزيعات الاحتمالية الغاوسية.

رياضيًا، دالة كثافة الاحتمالية لنقطة البيانات  $x$  تحت GMM مع عناصر K هو:

 $p\left(x\right)=\sum _{k=1}^K{\pi }_{k}N(x\mid {\mu }_k,{\Sigma }_k)$

لتوضيح ذلك:

 ${\pi }_k$  : هذا هو وزن الخلط للمكون k من الخليط، والذي يمثِّل تقديرًا لمقدار مساهمة التوزيع الغاوسي k في نقطة البيانات.

 $N(x\mid {\mu }_k,{\Sigma }_k)$: هو التوزيع الغاوسي مع:

•  ${\mu }_k$  المتجه المتوسط، والذي يمكن اعتباره مركز غاوسي  .$k$
   
•  ${\Sigma }_k$ مصفوفة التباين المشترك، والتي تمثِّل "انتشار واتجاه" الغاوسي  $k$     

كثافة الاحتمال الكلية عند  $x$ هي $p\left(x\right)$وهو مجموع موزون لجميع التوزيعات الغاوسية.

غالبًا ما تتم ملاءمة نموذج الخليط الغاوسي (GMM) باستخدام خوارزمية التوقع-التحسين (EM)، التي تقوم بشكل تكراري بتعيين احتمالات انتماء كل نقطة لكل توزيع غاوسي (الخطوة E)، وتحديث مَعلمات كل توزيع غاوسي (الخطوة M).

تُعَد خوارزمية التوقع-التحسين (EM) طريقة قوية لتقدير المَعلمات عندما تكون خوارزميات مثل تقدير الاحتمالية العظمى (MLE) صعبة التطبيق، كما في حالة نموذج الخليط الغاوسي (GMM). في GMM، تتم غالبًا ملاءمة النموذج باستخدام دالة log-likelihood. دالة log-likelihood هذه غير خطية ويصعب زيادتها تحليليًا، ما يعني أن تقدير الاحتمالية العظمى (MLE) لا يمكنه زيادتها مباشرةً. بالإضافة إلى ذلك، تحتوي GMM على متغيرات كامنة (أوزان الخليط)، والتي لا يمكن ملاحظتها بشكل مباشر في البيانات ولن تكتشفها MLE عند تبديل التسميات.

نهج آخر، وهو الانحدار العشوائي التدريجي (SGD)، يتطلب أن تكون دالة الهدف الأساسية قابلة للاشتقاق، وهو ما قد لا يكون متحققًا دائمًا. بالإضافة إلى ذلك، على عكس خوارزمية EM، لا يمكن تنفيذ SGD بسهولة بالتوازي، ويتطلب موارد حوسبة كبيرة عند التعامل مع بيانات ضخمة. توازي خوارزمية EM باستخدام نهج مثل map-reduce يُعَد تحسينًا قويًا للأداء.

تتكون EM من أربع خطوات:

تبدأ خوارزمية EM بقيم مبدئية عشوائية للمَعلمات وتفترض أن البيانات المرصودة مأخوذة من نموذج يمكن تقديره. تسمح العديد من تطبيقات نموذج الخليط الغاوسي (GMM) للممارسين باختيار طريقة التهيئة، مثل تعيين المسؤوليات الأولية باستخدام K-means، أو قيم عشوائية، أو أخذ عينات من بيانات التدريب.

نحسب الاحتمال اللاحق، وهو بمثابة "تعيين مرن" لنقاط البيانات إلى العناصر. هذا السؤال يعني، بناءً على التقديرات الحالية للمَعلمات، "ما مقدار انتماء كل توزيع غاوسي لكل نقطة بيانات؟"

أولًا، يتم حساب الاحتمال اللاحق لكل متغير كامن استنادًا إلى البيانات المرصودة. يمكن حساب احتمال أن zi=k، أي أن xi ينتمي إلى العنصر k، باستخدام قاعدة Bayes:

 $P(Z_i=k\mid x_i;\theta )=\frac{p(x_i\mid Z_i=k;\theta )P(Z_i=k;\theta )}{p(x_i;\theta )}$

بعد ذلك، يتم حساب احتمالية السجل للبيانات المرصودة باستخدام تقديرات المَعلمات الحالية. يمكن الآن كتابة احتمالية السجل المتوقعة فيما يتعلق بتوزيع المتغيّرات الكامنة على النحو التالي:

 $Q(\theta ,{\theta }^{old})=\sum _{i=1}^n\sum _{k=1}^K\gamma \left(z_{ik}\right)\log \left[w_{k}N\right(x_i;{\mu }_k,{\Sigma }_k\left)\right]$

الدالة Q هي مجموع موزون للوغاريتمات الاحتمالية لكل نقاط البيانات تحت كل عنصر غاوسي، حيث تكون الأوزان هي المسؤوليات. يحسب اللوغاريتم الاحتمالي مدى احتمالية أن تكون نقطة البيانات قد نشأت من ذلك التوزيع، استنادًا إلى القيم المقدرة لكل عنصر غاوسي. هذا يختلف عن احتمالية البيانات المرصودة تحت نموذج الخليط ككل. بدلًا من ذلك، تمثِّل دالة Q اللوغاريتم الاحتمالي المتوقع لكل من البيانات المرصودة وتوزيعات المتغيّرات الكامنة المقدرة.

تعمل الخطوة M-Step على تحديث ثلاث قيم مختلفة لكل توزيع غاوسي:

• يتم تمثيل متوسط التحديث عادة على أنه  ${\mu }_{k^{new}}$ 
  
  
• تحديث مصفوفة التباين، التي يتم تمثيلها عادةً على النحو التالي:  ${\Sigma }_{k^{new}}$ 
  
  
• تحديث وزن الخليط، الذي يتم تمثيله عادةً على النحو التالي:  $w_{k^{new}}$

تتمثل الخطوة التالية في تحديث مَعلمات النموذج عن طريق زيادة احتمالية السجل للنموذج الذي ينتج البيانات. كلما كان النموذج أفضل، زادت هذه القيمة.

 ${\mu }_{k^{new}}=\frac{\sum _{i=1}^n\gamma \left(z_{ik}\right)x_i}{\sum _{i=1}^n\gamma \left(z_{ik}\right)}$

أي أن المتوسط الجديد لعنصر $k$ -th هو متوسط مرجِّح لجميع نقاط البيانات، وتكون الأوزان هي احتمالات انتماء هذه النقاط إلى العنصر $k$ .

 ${\Sigma }_{k^{new}}=\frac{\sum _{i=1}^n\gamma \left(z_{ik}\right)\left(x_i-{\mu }_{k^{new}}\right){\left(x_i-{\mu }_{k^{new}}\right)}^{\top }}{\sum _{i=1}^n\gamma \left(z_{ik}\right)}$

يمثِّل هذا كيفية التباين الجديد للعنصر  $k$  هو متوسط مرجح للانحرافات التربيعية لكل نقطة بيانات عن المتوسط الخاص بالعنصر، حيث تكون الأوزان هي احتمالات النقاط المخصصة لهذا العنصر.

أخيرً، يعمل M-Step على تحديث أوزان الخليط:

 $w_{k^{new}}=\frac{1}{n}\sum _{i=1}^n\gamma \left(z_{ik}\right)$

الوزن الجديد للعنصر $k$ -th هو الاحتمال الكلي للنقاط التي تنتمي إلى هذا العنصر، والتي يتم تطبيعها بعدد النقاط $n$ .

أخيرًا، تتحقق EM من أن مَعلمات النموذج مستقرة ومتقاربة. إذا كانت التغييرات في احتمالية السجل أو المَعلمات أقل من حد محدد، فستتوقف الخوارزمية. إذا لم يكن الأمر كذلك، تكرِّر EM الخطوتين 2 و3 حتى الوصول إلى التقارب.

باختصار، تتكون خوارزمية EM من خطوتين متكررتين. أولًا، تحسب الخطوة E أوزان الخليط لجميع التوزيعات الغاوسية لكل نقطة بيانات. ثم تستخدم الخطوة M أوزان الخليط المحدَّثة لإعادة تقدير المَعلمات لكل غاوسي. ثم تقارن EM التغيير في احتمالية السجل وإذا كان أقل من عتبة محددة، تفترض التقارب ويتوقف عن التكرار.

نماذج الخليط الغاوسي (GMM) قوية، لكنها تعتمد على افتراضات غاوسية. لكي تمثِّل GMMs البيانات بشكل جيد، يجب أن تكون التجمعات إهليليجية وأن تكون الكثافات عبر التجمعات سلسة. التجمعات ذات الأشكال غير الإهليليجية أو البيانات التي تحتوي على مناطق عالية الكثافة وأخرى منخفضة قد لا يتم تمثيلها جيدًا بواسطة GMM.

عند استخدامها للتجميع، تشبه نماذج GMM خوارزمية التجميع k-means، لكنها تختلف عنها في عدة نقاط أساسية. أولًا، على عكس نظام k-means، الذي يعيّن كل نقطة إلى مجموعة واحدة، فإن GMMs تعطي احتمالات الانتماء إلى كل مجموعة. يُطلق على هذا اسم "التجميع المرن". نظرًا لأن المجموعات يمكن أن تكون بيضاوية الشكل ومتداخلة على حد سواء، فإن نماذج GMMs غالبًا ما تكون أكثر مرونة وتسمح بمزيد من عدم اليقين في حدود المجموعة.

بالنسبة إلى البيانات الثنائية أو الفئوية، لا تعمل نماذج GMM بشكل جيد، لكن يمكن لنهج مشابه باستخدام توزيعات Bernoulli أو متعددة الحدود أن يناسب البيانات بشكل أفضل. على العكس، تلك الأنواع من النماذج لن تناسب البيانات المكونة من متغيّرات مستمرة، بينما غالبًا ما تتناسب GMM مع مثل هذه البيانات بشكل جيد.

نظرًا لأن نماذج GMM تحاول تقدير مَعلمات التوزيعات الغاوسية، فقد تكون بعض البيانات أفضل تمثيلًا باستخدام طريقة غير معيارية مثل تقدير كثافة النواة (KDE). لا تفترض KDE أي شيء عن توزيعات التجمعات أو الفئات الفرعية، بل تقوم بتقدير الكثافة عبر نوى صغيرة محلية لكل نقطة بيانات. يكون هذا النهج مفيدًا عندما تتكون بياناتك من توزيعات معقدة دون افتراض أي شكل محدد لها.

أحد امتدادات GMM هو التشفير التلقائي المتغيّر (VAE)، وهو نموذج توليدي يتعلم توزيعات كامنة مرنة. في VAE، يكون الهدف العام هو نفسه، لكن VAE لا يستخدم EM. يستخدم VAE إطار عمل التشفير/فك التشفير الاحتمالي لتعلُّم التمثيلات الكامنة بنفس الطريقة التي تعيّن بها نماذج GMM أوزان الخليط لكل نقطة بيانات. الفرق الأساسي هو أن EM يتطلب إمكانية حساب الاحتمال الخلفي، بينما في VAE ليس هذا هو الحال، ما يجعله أكثر مرونة. المقايضة هنا هي أن تدريب VAE غالبًا ما يكون أكثر تعقيدًا ويستغرق وقتًا طويلًا.
 

ركَّز هذا الشرح بشكل واسع على التجميع لأنه يوفر مقدمة بديهية لنماذج الخليط الغاوسي (GMMs)، لكن هناك سيناريوهات أخرى يمكن أن تكون نماذج GMM مفيدة فيها. تُعَد هندسة الميزات واكتشاف الحالات الشاذة وتقدير الكثافة جميعها مهام شائعة يمكن أن تكون نماذج GMM قوية فيها.

هندسة الميزات: بينما تُتيح بعض خوارزميات التعلم الآلي مثل XGBoost للنموذج تعلُّم مجموعة متنوعة من توزيعات الميزات المدخلة، فإن البعض الآخر أكثر صرامة في متطلباته. عادةً ما تتوقع الانحدارات الخطية واللوجستية، والتحليل التمييزي الخطي (LDA)، والتوزيع الغاوسي متعدد المتغيّرات أن تكون الميزات موزعة طبيعيًا، وقد لا تعمل بشكل جيد إذا كانت البيانات متعددة الأوضاع. هناك أسباب تحليلية ومرئية أخرى مفيدة للتعامل مع تعدد الوسائط ويمكن أن تساعد نماذج GMM.

التصنيف غير الخاضع للإشراف: يعمل GMM بشكل مشابه لخوارزمية K-means ولكنه يسمح بتحديد احتمالي للانتماء إلى فئة معينة، على عكس K-means، حيث يكون الناتج مقياسًا ثنائيًا. يمكن أن يكون هذا مفيدًا بشكل خاص لحالات الاستخدام التي تتطلب عتبات مخصصة للتصنيف أو التي تتطلب مخرجات احتمالية.

كشف الشذوذ: يمكن استخدام التوزيع الغاوسي متعدد المتغيرات لتحديد نقاط البيانات التي لديها احتمال منخفض لاتباع توزيع أو أكثر من التوزيعات الغاوسية. وبهذه الطريقة، يمكن أن يساعد GMM في العثور على نوعين من البيانات الشاذة: الحالات الشاذة التي تمثِّل القيمة الخارجية في مجموعة من البيانات (على سبيل المثال، خطأ في إدخال البيانات) والحالات الشاذة التي تشكِّل مجموعة خاصةً بها (مثل سلوك الاحتيال في بطاقات الائتمان).

يُعَد GMM نموذجًا مناسبًا لمجموعة واسعة من المهام التي يمكن تدريبها بسرعة وتحسينها بسهولة. على الرغم من أن لها بعض القيود فيما يخص أنواع البيانات التي تناسبها، فإنها يمكن أن تكون مفيدة في مجموعة واسعة من مهام التعلم الآلي وعلوم البيانات.

في كلٍ من Python و R، يحتاج المطور إلى تعيين المَعلمة التشعبية التي تحدد عدد المجموعات كمعامل لنموذج GMM. كما هو الحال مع KNN، فإن الاستراتيجية المستخدمة بشكل شائع لاختيار هذا العدد من المجموعات هي تدريب النماذج على أعداد مختلفة من المجموعات ومقارنة كل منها. المقاييس الأكثر استخدامًا لمقارنة النماذج هي:

معامل Silhouette: يتم تعريفه لكل عينة ويتكون من درجتين: متوسط المسافة بين العينة وجميع النقاط الأخرى في نفس المجموعة، ومتوسط المسافة بين العينة وجميع النقاط الأخرى في المجموعة الأقرب التالية.

Jensen-Shannon: يقيس هذا المقياس التباعد بين التوزيعات وغالبًا ما يتم حسابه عن طريق حساب تباعد Kullback-Leibler أولًا، وهو متوسط نسب اللوغاريتم الاحتمالي على العينات ثم حساب متوسط قيمتي تباعد KL الناتجتين. يتم تمثيل مفهوم تشابه التوزيع بواسطة مقياس Jensen-Shannon (JS). كلما صَغُرت مسافة JS بين نموذجَي GMM، كان هناك توافق أكبر بينهما في كيفية ملاءمة البيانات.

معيار المعلومات البايزي (BIC): يعطي هذا المعيار تقديرًا لمدى جودة تنبؤ النموذج بالبيانات متوازنًا مع عدد المَعلمات التي يحتويها النموذج. إذا كان K صغيرًا جدًا، فستكون احتمالية السجل للنموذج منخفضة وقيمة BIC كبيرة. إذا كان K كبيرًا جدًا، فقد تكون الاحتمالية عالية، لكن العقوبة على القيم الأكبر (وبالتالي الإفراط في التخصيص) ستؤدي أيضًا إلى زيادة قيمة BIC.

معيار معلومات أكايك (AIC): يعمل بطريقة مشابهة جدًا لـ BIC، لكنه يفرض عقوبة أقل على عدد المَعلمات.