ما هو التحليل التمييزي الخطي (LDA)؟

ويتبع التحليل التمييزي الخطي، ويُعرَف أيضًا باسم التحليل التمييزي العادي (NDA) أو تحليل الوظيفة التمييزية (DFA)، إطار النموذج التوليدي. وهذا يعني أن خوارزميات التحليل التمييزي الخطي (LDA) تُنمذج توزيع البيانات لكل فئة وتستخدم نظرية بايز¹ لتصنيف نقاط بيانات جديدة. إذ تحسب نظرية بايز الاحتمالات الشرطية—وهي احتمال وقوع حدث في ظل وقوع حدث مختلف. وتُجري خوارزميات التحليل التمييزي الخطي (LDA) التنبؤات باستخدام نظرية بايز لحساب احتمالية إذا ما كانت مجموعة بيانات الإدخال ستنتمي إلى مخرج معين. لمراجعة الإحصاءات البايزية ومعرفة كيفية تأثيرها في خوارزميات التعلم الخاضع للإشراف، قم بزيارة مصنِّفات بايز الساذج.

يعمل التحليل التمييزي الخطي (LDA) بتحديد مجموعة خطية من الخصائص التي تميز أو تفصل بين فئتين أو أكثر من فئات الكائنات أو الأحداث. ويقوم التحليل التمييزي الخطي (LDA) بذلك عن طريق إسقاط البيانات ذات البُعدين أو أكثر في بُعد واحد حتى يسهُل تصنيفها أكثر. ولذا يُشار إلى هذا الأسلوب أحيانًا باسم تقليل الأبعاد. وهذه المرونة تضمن أنه يمكن استخدام التحليل التمييزي الخطي (LDA) لتحليل مشكلات تصنيف البيانات متعددة الفئات، على عكس الانحدار اللوجستي، الذي يقتصر على طريقة التصنيف الثنائي فقط. غالبًا ما يُطبق التحليل التمييزي الخطي (LDA) لتحسين تشغيل خوارزميات تصنيف التعلم الأخرى مثل خوارزمية شجرة القرار أو خوارزمية الغابة العشوائية أو خوارزمية آلات المتجهات الداعمة (SVM).

يعتمد التحليل التمييزي الخطي (LDA) على التمييز الخطي لفيشر، وهو طريقة إحصائية طورها السير "Ronald Fisher" في ثلاثينيات القرن العشرين ثم جرى تبسيطها فيما بعد على يد عالم الرياضيات "C. R. Rao" كإصدار متعدد الفئات. وتهدف طريقة فيشر إلى تحديد مجموعة خطية من الخصائص التي تميز بين فئتين أو أكثر من فئات الكائنات أو الأحداث المصنفة.

تقلل طريقة فيشر الأبعاد عن طريق فصل فئات البيانات المسقَطة. وهذا الفصل يعني تكبير المسافة بين الوسائل المتوقعة لأقصى حد وتقليل التباين المتوقع داخل الفئات لأدنى حد.

لنفترض أن بنكًا من البنوك بصدد اتخاذ قرار عما إذا كان سيوافق على طلبات القروض أم يرفضها. البنك يستخدم سمتين لاتخاذ هذا القرار: درجة ائتمان مقدم الطلب ودخله السنوي.

وهنا، تُرسم السمتين أو الفئتين على مستوى ثنائي الأبعاد باستخدام محور X-Y. فإذا حاولنا تصنيف الموافقات باستخدام سمة واحدة فقط، فسوف نلاحظ التداخل. أما من خلال تطبيق التحليل التمييزي الخطي (LDA) فيمكننا رسم خط مستقيم يفصل تمامًا بين نقطتي بيانات الفئتين. ويحقق لنا التحليل التمييزي الخطي (LDA) ذلك باستخدام المحورX–Y لإنشاء محور جديد، ليفصل بين الفئات المختلفة بخط مستقيم وإسقاط البيانات على المحور الجديد.

لإنشاء هذا المحور الجديد وتقليل الأبعاد، يتبع تحليلُ التمييز الخطي (LDA) المعايير التالية:

• تكبير المسافة بين متوسطات الفئتين لأقصى حد.
• تقليل التباين داخل الفئات الفردية.

تعمل التحليلات التمييزية الخطية (LDA) عن طريق إسقاط مساحة للخاصية، أي مجموعة بيانات ذات أبعاد n، على مساحة أصغر "k"، حيث يكون k أقل من أو يساوي n – 1، دون فقدان معلومات الفئة. ويشتمل نموذج التحليل التمييزي الخطي (LDA) على الخصائص الإحصائية المحسوبة للبيانات الموجودة في كل فئة. وعندما تكون هناك خصائص أو متغيرات متعددة، تُحسب هذه الخصائص عبر التوزيع الغاوسي متعدد المتغيرات³.

المتغيرات المتعددة هي:

• المتوسط
• مصفوفة التغاير، التي تقيس مدى ارتباط كل متغير أو خاصية بالمتغيرات الأخرى داخل الفئة ذاتها

يجب إدخال الخصائص الإحصائية المقدَّرة من مجموعة البيانات في دالة LDA لإجراء تنبؤات وإنشاء نموذج LDA. ولكن هناك بعض القيود يجب أخذها في الاعتبار، إذ يفترض النموذج ما يلي:

• تحتوي مجموعة البيانات المدخلة على توزيع احتمالات يُسمَّى توزيع غاوسي، حيث يظهر التوزيع على شكل "منحنى جرسي" عند رسمه بيانيًا باستخدام نقاط البيانات.
• وتكون مجموعة البيانات قابلة للفصل خطيًا، مما يعني أن التحليل التمييزي الخطي (LDA) يمكنه رسم خط مستقيم أو حدود قرار تفصل بين نقاط البيانات.
• وكل فئة لها مصفوفة التغاير ذاتها.

لهذه الأسباب، قد لا يؤدي التحليل التمييزي الخطي (LDA) الأداء الجيد في مساحات الخصائص عالية الأبعاد.

يتضمن تقليل الأبعاد فصل نقاط البيانات باستخدام خط مستقيم. وتُحلَّل التحولات الخطية رياضيًا باستخدام المتجهات الذاتية والقيم الذاتية. لنفترض أنك تُخطِّط مجموعة بيانات متعددة الخصائص، مما أدى إلى حصولك على مخطط تشتت متعدد الأبعاد. توفر المتجهات الذاتية "الاتجاه" داخل مخطط التشتت. وتُشير القيم الذاتية إلى أهمية هذه البيانات الاتجاهية. إذا كانت القيمة الذاتية عالية، فهذا يعني أن المتجه الذاتي المرتبط بها أكثر أهمية.

في أثناء تقليل الأبعاد، تُحسَب المتجهات الذاتية من مجموعة البيانات ثم تُجمع في مصفوفتين من مصفوفات مخطط التشتت:

• مصفوفة مخطط التشتت بين الفئات (معلومات عن انتشار البيانات داخل كل فئة)
• مصفوفة مخطط التشتت داخل الفئة (كيفية توزيع الفئات فيما بينها).

لاستخدام التحليل التمييزي الخطي (LDA) على نحوٍ فعال، من الضروري تجهيز مجموعة البيانات مسبقًا. وفيما يلي خطوات وأفضل ممارسات تنفيذ التحليل التمييزي الخطي (LDA):

ويحدث ذلك بتمرير معلمة مكون-n الخاصة بالتحليل التمييزي الخطي (LDA)، التي تحدد عدد التمايزات الخطية المطلوب استردادها.

ويحدث ذلك بتمرير معلمة مكون-n الخاصة بالتحليل التمييزي الخطي (LDA)، التي تحدد عدد التمايزات الخطية المطلوب استردادها.

يهدف ضبط التنظيم إلى منع الإفراط في التخصيص، حيث يتطابق النموذج الإحصائي تمامًا مع بيانات التدريب ويؤثِّر سلبًا في دقته.

يُمكنك تقييم المصنِّفات مثل التحليل التمييزي الخطي (LDA) عن طريق رسم مصفوفة دقة، حيث تظهر بها قيم الفئة الفعلية في صفوف وقيم الفئة المتوقعة في أعمدة. وتجعل مصفوفة الدقة من السهل معرفة ما إذا كان المصنِّف يخلط بين فئتين؛ أي: تتم تسمية فئة واحدة باسم فئة أخرى عن طريق الخطأ. على سبيل المثال، ضع في اعتبارك مصفوفة دقة مقاس 10 × 10 التي تتنبأ بالصور من صفر إلى 9. وتُرسم القيم الفعلية في صفوف على المحور y. تُرسم التنبؤات في أعمدة على المحور x. لمعرفة عدد المرات التي يرتبك فيها المصنِّف ما بين صور الأربعات والتسعات في مثال مصفوفة الدقة 10 × 10، يجب التحقق من الصف الرابع والعمود ^التاسع.

تساعد وظيفة التمييز الخطي في اتخاذ القرارات في مشكلات التصنيف بفصل نقاط البيانات بناءً على الخصائص وتصنيفها إلى فئات أو تصنيفات مختلفة. ويمكن تلخيص عملية الحساب في هذه الخطوات الرئيسية:

التباين بين الفئات هو إمكانية الفصل بين الفئات؛ أي المسافة بين متوسطات الفئة.

التباين داخل كل فئة يعني المسافة بين متوسطات الفئة والعينات.

يؤدي هذا إلى زيادة التباين بين الفئات إلى الحد الأقصى وتقليل التباين داخل الفئة. يمكننا تمثيل دالة التمييز الخطي لفئتين رياضيا بالمعادلة التالية.

δ(x) = x * ( σ² * (μ₀-μ₁) - 2 * σ² * (μ₀²-μ₁²) + ln(P(w₀) / P(w₁)))

حيث:

• δ(x) يمثل دالة التمييز الخطي.
• x يمثل نقطة بيانات الإدخال.
• μ₀ و μ₁ هما متوسطات الفئتين.
• σ² هو التباين المشترك داخل الفئة.
• P(ω₀) و P(ω₁) هي الاحتمالات السابقة للفئتين.

لنستخدم المعادلة ونطبقها في مثال الموافقة على القرض. كما سبق وقلنا إن البنك يفكر فيما إذا كان سيوافق على طلبات القروض أو يرفضها. يستخدم البنك خاصيتين لاتخاذ هذا القرار: درجة ائتمان مقدم الطلب (x) ودخله السنوي. لقد جمَّع البنك بيانات تاريخية عن طالبي القروض السابقين وما إذا تمت الموافقة على القروض.

• الفئة ω₀ تمثل "تم رفض القرض".
• تمثل الفئة ω₁ "القرض المعتمد".

باستخدام دالة التمييز الخطي، يستطيع البنك حساب الدرجة (δ(x)) لكل طلب قرض. 

قد يبدو تشابهاً بين معادلة دالة التمييز الخطي وهذا الشكل:

δ(x) = x * ( σ² * (μ₀-μ₁) - 2 * σ² * (μ₀²-μ₁²) + ln(P(w₀) / P(w₁)))

• x يمثل درجة ائتمان مقدم الطلب ودخله السنوي.
• μ₀ و μ₁ هي متوسطات هذه السمات لهاتين الفئتين: "تم رفض القرض" و"تمت الموافقة على القرض".
• σ² هو التباين المشترك داخل الفئة.
• P (ω₀) هو الاحتمال السابق "لرفض القرض"، و P (ω1) هو الاحتمال السابق "للموافقة على القرض".

يحسب البنك دالة التمييز الخطية لكل طلب قرض.

• إذا كانت قيمة δ(x) موجبة، فهذا يُشير إلى أن طلب القرض من المرجح أن تتم الموافقة عليه.
• أما إذا كانت قيمة δ(x) سلبية، فهذا يُشير إلى أن طلب القرض من المرجح أن يُرفض.

وبالتالي يستطيع البنك أتمتة عملية الموافقة على القروض، واتخاذ قرارات أسرع وأكثر اتساقًا مع تقليل التحيز البشري.

هذه سيناريوهات نموذجية حيث يمكن تطبيق التحليل التمييزي الخطي (LDA) لمعالجة المشكلات المعقدة ومساعدة المؤسسات على اتخاذ قرارات أفضل.

للتعمق أكثر في التحليل التمييزي الخطي باستخدام Python والاستفادة من مكتبة scikit-learn، يمكنك استكشاف هذا البرنامج التعليمي تعلم خوارزميات التصنيف باستخدام Python و scikit-learn في IBM watsonx. يساعدك هذا البرنامج التعليمي في أساسيات حل مشكلة التعلم الآلي القائم على التصنيف باستخدام Python و scikit-learn (المعروف أيضًا باسم sklearn).

في البرنامج التعليمي التدريجي، تستورد أولاً مكتبات Python اللازمة للعمل مع مجموعة بيانات Iris، ثم إجراء المعالجة المسبقة للبيانات، ثم إنشاء نموذج التحليل التمييزي الخطي (LDA) وتقييمه:

<Python code snippet>

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import sklearn
import seaborn as sns
from sklearn.preprocessing import StandardScaler, LabelEncoder
from sklearn.model_selection import train_test_split
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score, confusion_matrix

إذا كانت المكتبات لم تُثبَّت بعدُ، فيمكنك حل هذه المشكلة باستخدام pip install.

طالع أيضًا وثائق scikit-learn للحصول على نظرة عامة عن المعلمات الرئيسية والسمات والأمثلة العامة لتطبيقات Python باستخدام sklearn.discriminant_analysis.LinearDiscriminantAnalysis.

يُعَد فهم مزايا وقيود التحليل التمييزي الخطي (LDA) أمرًا بالغ الأهمية عند تطبيق هذا النوع من التحليل على مختلف مشكلات التصنيف. إذ تساعد معرفة مدى الموازنات (اكتساب ميزة بالتنازل عن أخرى) علماء البيانات وممارسي التعلم الآلي في اتخاذ قرارات مستنيرة عن مدى ملاءمتها لمهمة معينة.

• استفد من بساطة وكفاءة الحوسبة: إن التحليل التمييزي الخطي (LDA) خوارزمية بسيطة لكنها قوية. فمن السهل نسبيًا فهمه وتنفيذه، مما يجعله في متناول كل مستخدم مبتدئ في مجال التعلم الآلي. كما أن الحوسبة الفعالة لهذا النوع من التحليل تضمن الحصول على نتائج سريعة.
• إدارة البيانات عالية الأبعاد: يؤدي التحليل التمييزي الخطي (LDA) أداءً فعالاً عندما يكون عدد الخصائص أكبر من عدد عينات التدريب. ولذا تظهر قيمة التحليل التمييزي الخطي (LDA) في تطبيقات معينة مثل تحليل النصوص، والتعرّف على الصور، وعلم الجينوم، حيث تكون البيانات في هذه التطبيقات عالية الأبعاد غالبًا.
• التعامل مع التعدد الخطي: يمكن للتحليل التمييزي الخطي معالجة التعدد الخطي، وهو وجود علاقات عالية بين سمات مختلفة. إنه يحوّل البيانات إلى مساحة ذات أبعاد أقل مع الحفاظ على سلامة المعلومات.

- توزيعات المتوسطات المشتركة: يواجه التحليل التمييزي الخطي (LDA) تحديات عندما تتشارك توزيعاتُ الفئات في المتوسطات. إذ يحاول التحليل التمييزي الخطي (LDA) إنشاء محور جديد يفصل بين الفئتين خطيًا. ونتيجة لذلك، قد لا يميز التحليل التمييزي الخطي (LDA) جيدًا بين الفئات ذات الخصائص الإحصائية المتداخلة غالبًا. على سبيل المثال، تخيل سيناريو يكون فيه نوعان من الزهور لهما طول وعرض بتلات متشابهان إلى حد كبير. قد تجد التحليل التمييزي الخطي (LDA) صعوبة في فصل هذه الأنواع بناءً على هذه الخصائص وحدها. ويفضل هنا اتباع أساليب بديلة، مثل أساليب التحليل التمييزي غير الخطية.

- غير مناسب للبيانات غير المصنَّفة:يُطبّق التحليل التمييزي الخطي (LDA) على أنه خوارزمية تعلم خاضعة للإشراف؛ أي أنها تصنِّف أو تفصل البيانات المصنَّفة. وعلى العكس من ذلك، نجد أن تحليل المكونات الأساسية (PCA)، وهو أسلوب آخر لتقليل الأبعاد، يتجاهل تسميات الفئات ويحافظ على التباين.