ما هو الفضاء الكامن؟

يمكن أن يؤدي تعيين نقاط البيانات إلى الفضاء الكامن إلى التعبير عن البيانات المعقدة بطريقة فعالة وذات مغزى، مما يعزز قدرة نماذج التعلم الآلي على فهمها ومعالجتها مع تقليل المتطلبات الحاسوبية. ولتحقيق هذه الغاية، فإن تشفير تمثيلات الفضاء الكامن يستلزم عادة درجة معينة من تقليل الأبعاد: ضغط البيانات عالية الأبعاد إلى مساحة ذات أبعاد أقل تحذف المعلومات غير ذات الصلة أو المكررة.

تلعب الفضاءات الكامنة دورًا مهمًا في العديد من مجالات علم البيانات، ويُعد ترميز الفضاء الكامن خطوة أساسية في العديد من خوارزميات الذكاء الاصطناعي الحديثة. على سبيل المثال، تقوم أي نماذج توليدية، مثل برامج التشفير التلقائي المتغيرة (VAEs) والشبكات التنافسية التوليدية (GANs)، بحساب الفضاء الكامن لبيانات التدريب ثم الاستنباط منها لتوليد عينات بيانات جديدة. تم تدريب نماذج رؤية الكمبيوتر على مهام التصنيف مثل اكتشاف الأشياء أو تقسيم الصور، بتعيين بيانات الإدخال إلى الفضاء الكامن لعزل صفاتها ذات الصلة بإجراء تنبؤات دقيقة.

تعمل النماذج اللغوية الكبيرة (LLMs)، بدءًا من نماذج التضمين التي تمكّن البحث الدلالي إلى نماذج الانحدار التلقائي مثل ®IBM Granite™ أو تلك التي تدعم ChatGPT من OpenAI، على التلاعب بالفضاء الكامن لاستكشاف الروابط المعقدة بين الكلمات المختلفة في سياقات محددة.

تأخذ كلمة فضاء معنى أكثر تنوعًا في سياق التعلم الآلي مقارنة باللغة العامة. بشكل عام، يشير "الفضاء" في التعلم الآلي (ML) إلى وضع محدد لتعيين نقاط البيانات أو مقارنتها أو أخذ عينات منها. على سبيل المثال:

• "فضاء الإدخال" هي مجموعة الاحتمالات المضمنة في بيانات الإدخال.
• فضاء الإخراج "" هو نطاق احتمالات مخرجات النموذج.
• في بيانات الصورة، فإن فضاء "بكسل" هو نطاق احتمالات قيم البكسل العددية.
• في التعلّم المعزّز، فإن "فضاء العمل" هو مجموعة الإجراءات المحتملة التي يمكن اتخاذها بعد ذلك، مثل الحركات القانونية المتاحة في لحظة معينة في لعبة لوحية.

من الناحية الرياضية ، يتم تعريف الفضاء بشكل أساسي بما يتوافق مع أبعاده: أي السمات—المتغيرات—التي يتم استخدامها لوصف نقاط البيانات في هذا الفضاء. عندما يتم تعيين نقاط البيانات إلى فضاء معين، ستكون نقاط البيانات ذات القيم المتشابهة للمتغيرات التي تحدد الفضاء متشابهة أو قريبة من بعضها البعض بواسطة بعض المقاييس مثل تشابه جيب التمام أو المسافة الإقليدية أو حاصل الضرب النقطي. 

في التعلم الآلي، يجب تمثيل نقاط البيانات عدديًا. في أغلب الأحيان، يتم تمثيل نقاط البيانات (أو "تضمينها") على هيئة متجهات. وبالتالي نشير إلى الفضاء الذي تتم فيها مقارنة نقاط البيانات من خلال تمثيلات المتجهات الخاصة بها على أنه "فضاء تضمين المتجه" (أو "فضاء التضمين"). تسمى التمثيلات العددية، التي يتوافق فيها كل عنصر في المتجه مع بُعد فردي لفضاء التضمين، بالتضمينات المتجهة. عادةً ما تأخذ خوارزميات التعلم الآلي التضمينات المتجهة كمدخلات أو تبدأ بتحويل بيانات الإدخال إلى تضمينات متجهة.
 

فضاء السمات هو الفضاء المتجه المرتبط بنطاق الاحتمالات ليس لنقاط البيانات ولكن لقيم السمات ذات المعنى التي قد تميز مجموعة محددة من نقاط البيانات. على سبيل المثال، في النماذج التي تعالج بيانات الصور، قد يتوافق كل بُعد من أبعاد فضاء السمات مع أشكال أو مواد أو أنماط ألوان معينة موجودة في بيانات تدريب النموذج.

يحذف فضاء السمات عادةً المعلومات من أبعاد فضاء التضمين التي لا تحتوي على أي سمات. استمرارًا لمثال بيانات الصورة، سيستبعد فضاء المعالم الخلفيات أو المساحة الفارغة. تسمى عملية عزل السمات ذات المغزى من فضاء التضمين الأكبر استخراج السمات.

غالبًا ما يتم استخدام "فضاء السماء" و "الفضاء الكامن" بالتبادل ولكنهما ليسا مترادفين دائمًا. بالنظر إلى أن استخراج السمات عادةً ما يستلزم تمثيلًا مضغوطًا للبيانات التي تحذف المعلومات غير المفيدة، المفهومين مرتبطان ارتباطًا وثيقًا. ومع ذلك، قد لا تكون بعض السمات بالضرورة ذات صلة بالبنية الأساسية للبيانات. لذلك، عادةً ما يكون الفضاء الكامن عبارة عن تمثيل منخفض الأبعاد لفضاء السمات الذي يحتوي فقط على مجموعة فرعية من السمات التي يتم تحديدها من خلال التعلم الآلي، على أنها الأكثر صلة بالمهمة المطروحة.

في الفضاء الكامن، يتوافق كل بُعد مع متغير كامن للبيانات الأصلية. المتغيرات الكامنة هي سمات أساسية تشمل كيفية توزيع البيانات ولكن لا يمكن ملاحظتها بشكل مباشر في كثير من الأحيان.

كمثال بديهي، تخيل جسرًا مزودًا بمستشعر يقيس وزن كل مركبة عابرة. تستخدم العديد من المركبات المختلفة، من السيارات المكشوفة خفيفة الوزن إلى الشاحنات الثقيلة، الجسر—ولكن لا يوجد كاميرا لتحديد نوع المركبة. ومع ذلك، نعلم أن نوع المركبة يؤثر بشكل كبير على وزنها. في هذا المثال، يعد وزن المركبة متغيرًا يمكن ملاحظته ونوع المركبة متغيرًا كامنًا: يمكننا استنتاج أنواع المركبات التي تستخدم الجسر من خلال استكشاف أنماط وزن المركبة.

ليس كل متغير "مخفي" مهمًا، وبالتالي لن يتم تمثيل كل متغير مخفي في الفضاء الكامن الذي يتم ترميزه بواسطة نموذج التعلم الآلي. من الناحية العملية، يتعلم النموذج ترميز الفضاء الكامن الأكثر ملاءمة لأداء المهمة التي يتم تدريبه عليها بدقة.

عادةً ما يستلزم ترميز تمثيل الفضاء الكامن ضغط البيانات عالية الأبعاد إلى فضاء منخفض الأبعاد من خلال عملية تسمى تقليل الأبعاد.

فكر في الصور الموجودة في MNIST، وهي مجموعة بيانات مفتوحة المصدر تحتوي على عشرات الآلاف من الصور ذات الدرجات الرمادية مقاس 28 × 28 للأرقام المكتوبة بخط اليد. يمكن تمثيل كل صورة صغيرة مقاس 28 × 28 كتضمين متجه ذي 784 بُعدًا حيث يتوافق كل بُعد مع بكسل فردي وله قيمة تتراوح بين 0 (للأسود) و 1 (للأبيض). إذا كانت صورًا ملونة، فستكون هذه التضمينات المتجهة ذات 2,352: بُعدًا: 3 أبعاد لكل بكسل من بين 784 بكسلًا، تتوافق مع قيم الأحمر والأخضر والأزرق (RGB) الخاصة بها.

ومع ذلك، لا تشكل الأرقام الفعلية سوى جزء صغير من فضاء البكسل. معظم الصورة عبارة عن خلفية فارغة. يمكن أن يؤدي تقليل الصور (والمتجهات التي تمثلها) إلى الأبعاد التي تحتوي على معلومات فعلية فقط— الفضاء الكامن—إلى تحسين قدرة نموذج التعلم الآلي على معالجة الصور بدقة وكفاءة.
 

أحد أنواع بنية الشبكة العصبية المصممة صراحةً لتقليل الأبعاد وضغط بيانات الإدخال في فضاء كامن هو برنامج التشفير التلقائي.

برامج التشفير التلقائي هي أنظمة ذاتية الإشراف، هدفها التدريبي هو ضغط (أو تشفير) بيانات المدخلات من خلال تقليل الأبعاد ثم إعادة بناء (أو فك تشفير) بيانات المدخلات الأصلية باستخدام هذا التمثيل المضغوط. في برامج التشفير التلقائي القياسية، تحتوي كل طبقة من طبقات المشفر على عدد أقل من العقد بشكل تدريجي مقارنة بالطبقة السابقة. عندما يتم تمرير تضمين المتجه لبيانات الإدخال إلى طبقة المشفر التالية، يتم ضغطه من خلال عملية "ضغط" نفسه في أبعاد أقل. تقوم شبكة فك التشفير بعد ذلك بإعادة بناء الإدخال الأصلي باستخدام المتجه الكامن الذي ينتجه المشفر فقط.

يتم تدريب برامج التشفير التلقائي على تقليل خسارة إعادة البناء، والتي تقيس مدى اختلاف إعادة بناء وحدة فك التشفير عن الإدخال الأصلي. نظرًا لأن برنامج التشفير لا يمكنه تمرير سوى كمية محدودة من المعلومات إلى برنامج فك التشفير، فهو مجبر على استخراج أبرز سمات البيانات فقط. بمعنى آخر، يتعلم برنامج التشفير التلقائي بشكل طبيعي تعيينًا فعالًا للفضاء الكامن لبيانات الإدخال.

تمنح هذه القدرة برامج التشفير التلقائي العديد من حالات الاستخدام المثيرة للاهتمام بالإضافة إلى ضغط البيانات. على سبيل المثال، يمكن استخدام برامج الترميز التلقائي للكشف عن حالات الخلل لأنها قادرة على تسجيل التشوهات غير الواضحة للمراقب البشري. تخيل ساعة مقلدة: قد تبدو للعين المدربة أنها تشبه تمامًا الساعة الحقيقية. فقط من خلال تفكيكها ومحاولة إعادة بناء التروس والميكانيكا الأساسية بالداخل—فضائها الكامن—يمكنك تحديد العناصر التي لا تتطابق مع تلك الموجودة في الساعة الأصلية التي تُقلّدها. 

تتمثل إحدى الميزات الرئيسية لبرامج التشفير التلقائي على خوارزميات تقليل الأبعاد الأخرى، مثل التحليل التمييزي الخطي أو تحليل المكونات الرئيسية (PCA)، في أن برامج التشفير التلقائي يمكنها نمذجة العلاقات غير الخطية بين المتغيرات المختلفة.

تطبق العديد من الشبكات العصبية الأخرى بنية تشفير وفك تشفير مماثلة، حيث تقلل شبكة التشفير من أبعاد البيانات المدخلة وتقوم شبكة فك التشفير بمعالجة هذا التشفير الكامن لعمل تنبؤات. برنامج التشفير التلقائي هو أي تنفيذ لتلك البنية التي يتم فيها تدريب النموذج على إعادة بناء بيانات الإدخال.

تستخدم برامج التشفير التلقائي المتغيرة (VAEs) بنية التشفير التلقائي لتشفير الفضاء الكامن بطريقة يمكن استخدامها للمهام التوليدية مثل إنشاء الصور.

على عكس معظم برامج التشفير التلقائي، وهي نماذج "حتمية" تشفر متجه واحد من القيم المنفصلة لكل متغير كامن لبيانات التدريب، فإن برامج التشفير التلقائي المتغيرة هي نماذج "احتمالية" تشفر الفضاء الكامن كمجموعة من الاحتمالات. من خلال الاستنباط ضمن نطاق الإمكانيات المشفرة هذا، يمكن برامج التشفير التلقائي المتغيرة توليد عينات بيانات جديدة، على الرغم من كونها فريدة وأصلية بذاتها، إلا أنها تشبه بيانات التدريب الأصلية.

لتمكين إنشاء عينات بيانات جديدة تمامًا (بدلًا من مجرد إعادة إنشاء أو دمج عينات من بيانات التدريب)، يجب أن يُظهر الفضاء الكامن نوعين من الانتظام:

• الاستمرارية: يجب أن تسفر النقاط المتقاربة في الفضاء الكامن عن محتوى مماثل عند فك التشفير.
• الاكتمال: يجب أن تسفر أي نقطة تم أخذ عينة منها من الفضاء الكامن عن محتوى مفيد عند فك تشفيرها.

هناك طريقة بسيطة لفرض الاستمرارية والاكتمال في الفضاء الكامن وهي إجباره على اتباع التوزيع الطبيعي (غاوسي). لذلك ، تقوم برامج التشفير التلقائي المتغيرة بتشفير متجهين مختلفين لكل سمة كامنة لبيانات التدريب: متجه الوسائل، "μ"، ومتجه الانحرافات المعيارية، "σ". وفي الأساس، يمثل هذان المتجهان نطاق الاحتمالات لكل متغير كامن والتباين المتوقع ضمن كل نطاق من الاحتمالات، على التوالي. 

تحقق برامج التشفير التلقائي المتغيرة ذلك عن طريق إضافة دالة خسارة إضافية إلى جانب مع خسارة إعادة البناء: تباعد Kullback-Leibler (أو تباعد KL). وبشكل أكثر تحديدًا، يتم تدريب برنامج التشفير التلقائي المتغير على تقليل الاختلاف بين التوزيع الغاوسي القياسي والفضاء الكامن الذي تم تعلمه عن طريق تقليل خسارة إعادة البناء.

في حين أن بنيات نماذج توليد الصور الأخرى تستخدم أهدافًا تدريبية أخرى غير خسارة إعادة البناء، إلا أنها عادةً ما تستخدم جميعًا شروط تنظيم لفرض استمرارية واكتمال الفضاء الكامن. يناسب معظم الفضاء الكامن، وليس كله، التوزيع الطبيعي.
 

تقوم الشبكات التنافسية التوليدية (GANs) بتدريب شبكتين عصبيتين—شبكة "المُميّز" وشبكة المولّد—في لعبة التنافس. يتم عرض صورة على المُميِّز وتدريبه على التنبؤ بما إذا كانت صورة أصلية أو صورة مأخوذة من مجموعة بيانات التدريب. يتم تدريب المولّد على خداع المُميّز عن طريق أخذ العينات من الفضاء الكامن لتوليد عينات أصلية.

يُعتبر المولّد مدرّبًا عندما لا يعود المميّز قادرًا على التفريق بين صور التدريب والصور التي تم إنشاؤها.

نماذج الانتشار الكامن، والتي تم تقديمها لأول مرة من خلال نموذج الانتشار المستقر الأصلي، تجمع بشكل أساسي بين نماذج الانتشار مع برامج التشفير التلقائي المتغيرة. بينما تعمل نماذج الانتشار القياسية مباشرةً على فضاء البكسل، تستخدم نماذج الانتشار الكامنة أولاً بنية شبيهة ببرنامج التشفير التلقائي المتغير لتشفير بيانات الإدخال إلى تمثيل كامن ذي أبعاد أقل، ثم تطبق الانتشار على الفضاء الكامن. أدى هذا الابتكار إلى زيادة سرعة وكفاءة نماذج الانتشار بشكل كبير.

يصعب بطبيعته تخيل أو تصور العلاقات بين نقاط البيانات المختلفة في الفضاء الكامن. حواسنا وخبرتنا محصورة بفهم ثلاثي الأبعاد للعالم، وعقولنا لا تستطيع تصور رسم بياني يحدد نقاطًا على طول عشرات أو مئات أو حتى آلاف الأبعاد.

لمعالجة هذا التحدي، يطبق علماء البيانات تقنيات تقليل الأبعاد مثل تضمين الجار العشوائي الموزع (t-SNE) أو التقريب والإسقاط المتشعب الموحد (UMAP). هذه التقنيات، التي تُستخدم على نطاق واسع في تصور البيانات، تقوم بتعيين البيانات عالية الأبعاد إلى رسم بياني ثنائي الأبعاد (أو ثلاثي الأبعاد)، حيث تكون الأجسام المتشابهة قريبة من بعضها البعض والأجسام غير المتشابهة متباعدة. على سبيل المثال، تم إنشاء تصور الفضاء الكامن لبرنامج التشفير التلقائي المتغير الذي ظهر سابقًا في هذه المقالة باستخدام t-SNE.

وقد أسفرت الأبحاث في نماذج الصور أيضًا عن رؤى مثيرة للاهتمام حول طبيعة الفضاء الكامن التي ساهمت في تحقيق تقدم في معالجة الفضاء الكامن للنماذج التوليدية. على سبيل المثال، استكشفت الورقة البحثية التي يُستشهد بها على نطاق واسع "التعلم التمثيلي غير الخاضع للإشراف باستخدام الشبكات التوليدية الخصومية العميقة الالتفافية" تقنيات مثل إجراء العمليات الحسابية باستخدام المتجهات الكامنة لإنتاج صور جديدة ذات خصائص محددة.

بنفس الطريقة التي تهدف بها عمليات تضمين المتجهات للصور إلى تمثيل البيانات التي يوفرها التوزيع الأصلي للصورة لقيم البكسل، تهدف تضمينات الكلمات إلى التقاط المعنى الدلالي لكلمة معينة.

ومع ذلك، على عكس الصورة، فإن المعنى الدلالي للكلمة ليس ثابتًا: إنه ديناميكي، مع دلالات وعلاقات يمكن تغييرها بواسطة الكلمات المحيطة بها. لذلك، تستخدم نماذج المحولات آلية الانتباه الذاتي لحساب كيفية تأثر معنى الكلمة بسياقها وتحديث تضمينها وفقًا لذلك. بين طبقة الإدخال التي تستوعب الموجِّه وطبقة الإخراج حيث يتم إنشاء نص جديد، يتم تحويل تضمينات الكلمات الأصلية إلى سلسلة من التمثيلات الكامنة حيث يقوم النموذج باستمرار بتحسين فهمه السياقي.

على الرغم من صعوبة تفسير العمليات الداخلية للنماذج اللغوية الكبيرة (LLMs) حتى الآن إلى حد ما، إلا أن الأبحاث الجارية استكشفت تنشيط الفضاء الكامن في التعلم في السياق والقدرات الناشئة الأخرى للنماذج اللغوية الكبيرة.^{1، 2}