ما هو برنامج التشفير التلقائي؟

باستخدام التعلم الآلي غير الخاضع للإشراف، يتم تدريب برامج التشفير التلقائية لاكتشاف المتغيرات الكامنة في بيانات الإدخال: المتغيرات المخفية أو العشوائية التي، على الرغم من عدم إمكانية ملاحظتها بشكل مباشر، تخبرنا بشكل أساسي بالطريقة التي يتم بها توزيع البيانات. يُشار إلى المتغيرات الكامنة لمجموعة معينة من بيانات الإدخال إجمالاً باسم الفضاء الكامن. أثناء التدريب، يتعلم برنامج التشفير التلقائي المتغيرات الكامنة التي يمكن استخدامها لإعادة بناء البيانات الأصلية بدقة أكبر: وبالتالي فإن تمثيل الفضاء الكامن هذا يمثل فقط المعلومات الأكثر أهمية الموجودة في الإدخال الأصلي.

تُستخدم معظم أنواع برامج التشفير التلقائي في مهام الذكاء الاصطناعي المتعلقة باستخراج الميزات، مثل ضغط البيانات، وإزالة التشويش من الصور، وكشف الشذوذ، والتعرف على الوجه. تقوم أنواع معينة من برامج التشفير التلقائي، مثل برامج التشفير التلقائي المتغيرة (VAEs) وبرامج التشفير التلقائي التنافسية (AAEs)، بتكييف بنية التشفير التلقائي لاستخدامها في المهام التوليدية، مثل إنشاء الصور أو إنشاء بيانات السلاسل الزمنية.

على الرغم من أن جميع نماذج برامج التشفير التلقائي تتضمن كلاً من برنامج التشفير وبرنامج فك التشفير، فليست كل نماذج برامج التشفير - فك التشفير عبارة عن برامج تشفير تلقائية.

تُستخدم أطر عمل التشفير - فك التشفير ، حيث تستخرج شبكة التشفير الميزات الرئيسية لبيانات الإدخال وتأخذ شبكة فك التشفير بيانات الميزات تلك المستخرجة كمدخلات لها، في مجموعة متنوعة من نماذج التعلم العميق، مثل بنى الشبكة العصبية التلافيفية (CNN) المستخدمة في مهام رؤية الكمبيوتر مثل تجزئة الصور أو بنى الشبكة العصبية المتكررة (RNN) المستخدمة في مهام "تسلسل إلى تسلسل" (seq2seq).

في معظم تطبيقات نماذج التشفير - فك التشفير، تختلف مخرجات الشبكة العصبية عن مدخلاتها. على سبيل المثال، في نماذج تجزئة الصور مثل U-Net، تستخرج شبكة التشفير بيانات الميزة من الصورة المدخلة لتحديد التصنيف الدلالي وحدات البيكسل المختلفة؛ وباستخدام خريطة الميزة تلك والتصنيفات على مستوى البكسل، تقوم شبكة فك التشفير بعد ذلك ببناء أقنعة تجزئة لكل كائن أو منطقة في الصورة. يتمثل الهدف من نماذج التشفير - فك التشفير هذه في تصنيف وحدات البكسل بدقة حسب فئتها الدلالية: يتم تدريبها عبر التعلم الخاضع للإشراف، وتحسين تنبؤات النموذج مقابل مجموعة البيانات "الحقيقة الأساسية" للصور التي تم تصنيفها بواسطة خبراء بشريين.

يشير مصطلح برامج التشفير التلقائية إلى مجموعة فرعية محددة من بِنى التشفير - فك التشفير التي يتم تدريبها من خلال التعلم غير الخاضع للإشراف لإعادة بناء بيانات الإدخال التي تتعامل معها.

ونظرًا لأن أجهزة التشفير التلقائي لا تعتمد على بيانات التدريب المصنفة، فإنها لا تعتبر طريقة تعلم خاضعة للإشراف. مثل جميع أساليب التعلّم غير الخاضعة للإشراف، يتم تدريب برامج التشفير التلقائي لاكتشاف الأنماط المخفية في البيانات غير المصنفة بدلاً من التنبؤ بالأنماط المعروفة التي تظهر في بيانات التدريب المصنفة؛ ومع ذلك، مثل نماذج التعلّم الخاضعة للإشراف - وعلى عكس معظم أمثلة التعلّم غير الخاضع للإشراف - تمتلك برامج التشفير التلقائي حقيقة أساسية لقياس مخرجاتها في مقابل: الإدخال الأصلي نفسه (أو نسخة معدلة منه). لهذا السبب ، يتم اعتبارها "التعلم الخاضع للإشراف الذاتي" - وبالتالي، التشفير التلقائي.

تكتشف أجهزة التشفير التلقائي المتغيرات الكامنة من خلال تمرير بيانات الإدخال عبر "عنق الزجاجة" قبل وصولها إلى برنامج فك التشفير. وهذا يجبر برنامج التشفير على تعلّم استخراج وتمرير المعلومات الأكثر ملاءمة لإعادة بناء الإدخال الأصلي بدقة.

على الرغم من أن المتغيرات المختلفة من برامج التشفير التلقائي تقوم بتبديل عناصر معينة من الشبكة العصبية الخاصة بها لتناسب أهدافًا وأنواعًا محددة من البيانات، إلا أن جميع برامج التشفير التلقائي تشترك فيما بينها في عناصر بنية رئيسية:

في بعض تطبيقات برامج التشفير التلقائي، يمكن التخلص من برنامج فك التشفير بعد التدريب: في مثل هذه الحالات، يكون الغرض الوحيد لبرنامج فك التشفير هو تدريب برنامج التشفير - على غرار دور برنامج التمييز في الشبكة التنافسية التوليدية (GAN)- والذي يتم استخدامه بعد ذلك كمكون لشبكة عصبية مختلفة. في العديد من برامج التشفير التلقائي، يستمر برنامج فك التشفير في خدمة غرض ما بعد التدريب: على سبيل المثال، في برامج التشفير التلقائي المتغيرة، يقوم برنامج فك التشفير بإخراج عينات بيانات جديدة.

تتمثل إحدى المزايا الأساسية لاستخدام برامج التشفير التلقائي مقارنة بأساليب تغيير الأبعاد الأخرى مثل تحليل العناصر الأساسية (PCA) في أن برامج التشفير التلقائي يمكنها تسجيل الارتباطات غير الخطية المعقدة. وبناءً على ذلك، عادةً ما تكون دوال التنشيط المستخدمة في برامج التشفير التلقائي دوال غير خطية مثل الدالة السهمية.

تقوم أنواع مختلفة من برامج التشفير التلقائي بإجراء تعديلات على هذه البنية لتناسب المهام وأنواع البيانات المختلفة بشكل أفضل. بالإضافة إلى اختيار النوع المناسب من الشبكة العصبية - على سبيل المثال، بنية تعتمد على CNN، أو بنية تعتمد على RNN مثل الذاكرة طويلة المدى، أو بنية المحول، أو شبكة عصبية بتغذية أمامية بسيطة - فإن تصميم برنامج التشفير التلقائي يستلزم العديد من المعلمات الفائقة:

• حجم الشفرة: يحدد حجم عنق الزجاجة حجم البيانات المراد ضغطها. يمكن أيضا استخدام حجم الشفرة كمصطلح تنظيمي: التعديلات على حجم الشفرة هي إحدى الطرق لمواجهة الإفراط في التجهيز أو انخفاض مستوى التجهيز.
• عدد الطبقات: يُقاس عمق برنامج التشفير التلقائي بعدد الطبقات في برنامج التشفير وبرنامج فك التشفير. يوفر العمق الأكبر تعقيداً أكبر، بينما يوفر العمق الأقل سرعة معالجة أكبر.
• عدد العقد لكل طبقة: بشكل عام، يتناقص عدد العقدة (أو "الخلايا العصبية") مع كل طبقة من طبقات التشفير، ويصل إلى الحد الأدنى عند عنق الزجاجة، ويزداد مع كل طبقة من طبقات فك التشفير - على الرغم من أنه في بعض المتغيرات، مثل برامج التشفير التلقائي المتناثرة، ليس هذا هو الحال دائماً. قد يختلف عدد الخلايا العصبية أيضًا وفقًا لطبيعة الإدخال: على سبيل المثال، قد يتطلب برنامج التشفير التلقائي الذي يتعامل مع الصور الكبيرة عددًا أكبر من الخلايا العصبية مقارنةً بالذي يتعامل مع الصور الأصغر حجمًا.
• وظيفة الخسارة: عند تدريب برنامج التشفير التلقائي، تُستخدم وظيفة الخسارة - التي تقيس مقدار الخسارة أو الفقد عند إعادة البناء بين الإخراج والإدخال - لتحسين أوزان النموذج من خلال  الهبوط المتدرج أثناء الانتشار العكسي. تعتمد الخوارزمية (الخوارزميات) المثالية لوظيفة الخسارة على المهمة التي سيتم استخدام برنامج التشفير التلقائي من أجلها.

برامج التشفير التلقائي غير المكتملة هي بنية برنامج تشفير تلقائي بسيطة تستخدم في الأساس لتقليل الأبعاد. تحتوي طبقاتها المخفية على عقد أقل من طبقات الإدخال والمخرجات، وتكون سعة عنق الزجاجة فيها ثابتة.

الهدف من عنق الزجاجة هذا هو منع برنامج التشفير التلقائي من الإفراط في تجهيز بيانات التدريب الخاصة به. بدون الحد من سعة عنق الزجاجة بشكل كافٍ، تميل الشبكة نحو تعلم دالة الهوية بين المدخلات والمخرجات: بعبارة أخرى، قد تتعلم الشبكة تقليل خسارة إعادة البناء عن طريق نسخ الإدخال مباشرةً. من خلال إجبار البيانات على أن تكون مضغوطة بشكل كبير، يجب أن تتعلم الشبكة العصبية الاحتفاظ فقط بالميزات الأكثر أهمية لإعادة البناء.

ولكن إذا كان برنامج التشفير وبرنامج فك التشفير يتمتعان بسعة عالية بما فيه الكفاية - أي إذا كانا يعالجان إدخالات بيانات كبيرة أو معقدة - فقد يتعلم برنامج التشفير التلقائي (حتى مع وجود عنق الزجاجة) دالة الهوية على أي حال، مما يجعله عديم الفائدة. هذا يجعل برامج التشفير التلقائي غير المكتملة غير مرنة ويحد من قدرتها.

تعالج برامج التشفير التلقائي المنتظمة أوجه القصور في برامج الترميز التلقائي غير المكتملة من خلال إدراج أساليب التنظيم: التي تقيد أو تعدل الطريقة التي يحسب بها النموذج خطأ إعادة البناء. لا تقلل شروط التنظيم هذه من التجهيز الزائد فحسب، بل تمكن أيضاً أداة التشفير التلقائي من تعلم الميزات أو الوظائف المفيدة.

تفرض برامج التشفير التلقائي المتفرقة (SAEs) قيدًا يتعلق بالتفرق : بدلاً من إنشاء عنق زجاجة للمعلومات عن طريق تقليل عدد العقدة في كل طبقة مخفية، تخلق برامج التشفير التلقائي المتفرقة (SAEs) عنق زجاجة عن طريق تقليل عدد العقد التي يمكن تنشيطها في نفس الوقت.

وفي حين أن برنامج التشفير التلقائي غير المكتمل سيستخدم الشبكة العصبية بأكملها لكل ملاحظة، فإن برنامج التشفير التلقائي الذي يحتوي على دالة التفرق يُعاقَب على كل خلية عصبية تم تنشيطها بعد عتبة معينة. يتيح ذلك لبرنامج التشفير وفك التشفير الحصول على سعة أعلى دون التعرض لخطر الإفراط في تجهيز بيانات التدريب (لأنه لن يتم تنشيط جميع الخلايا العصبية). كما يسمح ذلك للطبقات المخفية باحتواء العقد المخصصة لاكتشاف ميزات محددة: تضمن دالة التفرق أنها "تستحق العقوبة" فقط لتنشيط تلك العقدة في حالة وجود الميزات المذكورة.

على الرغم من أن حساب خطأ إعادة البناء والتحسين اللاحق لأوزان المعلمات من خلال النشر العكسي يحدث بشكل منفصل، فإن هذا التحسين يتم تنظيمه بواسطة دالة التفرق هذه. وبالتالي يضطر برنامج التشفير التلقائي إلى تعلم تمثيل الفضاء الكامن الأكثر فاعلية ضمن قيود التفرق المحددة.

عادة ما تكون الدوال المستخدمة لفرض قيود التفرق هي تنظيم L1 أو تباعد KL.

يقيس تباعد Kullback-Leibler (KL) الفرق بين توزيعين احتماليين. عند استخدامه في سياق برامج التشفير التلقائي المتفرقة (SAEs)، تتناسب العقوبة الممنوح للشبكة بعد كل دفعة تدريب مع تباعد KL بين التوزيع المستهدف لقيم التنشيط - التفرق المطلوب - وبين التوزيع الفعلي لقيم التنشيط. كما سيتم مناقشته لاحقاً في هذه المقالة، يستخدم تباعد KL أيضا لتحسين دقة توزيعات الاحتمالات التي تم تعلمها بواسطة برامج التشفير التلقائي المتغيرة (VAEs).

تم تقديم برامج التشفير التلقائي الانقباضية لأول مرة في عام 2011 من قبل باحثين من جامعة Université de Montréal،¹ تم تصميم برامج التشفير التلقائي الانقباضية لتكون غير حساسة للاختلافات الطفيفة (أو "الضوضاء") الموجودة في بيانات الإدخال من أجل تقليل الإفراط في التجهيز والتقاط المعلومات الأساسية بشكل أكثر فعالية.

يتم تحقيق ذلك عن طريق إضافة شرط تنظيم في التدريب، مما يعاقب الشبكة على تغيير المخرجات استجابةً للتغيرات الكبيرة غير الكافية في الإدخال. يتم حساب شرط العقوبة هذا باستخدام مفهومين رياضيين:

• تحتوي المصفوفة اليعقوبية على جميع المشتقات من الرتبة الأولى للدالة التي يمكن استخدامها في النشر العكسي. وتمثل كيفية تغير تدرجات الشبكة مع تغيير الإدخال.
• يتم حساب معيار فروبينيوس على أنه "الجذر التربيعي لمجموع المربعات المطلقة لعناصره.²" و يقيس متوسط كسب المصفوفة على طول كل اتجاه متعامد في المساحة.³

على وجه التحديد، فإن شرط العقوبة هو معيار فروبينيوس للمصفوفة اليعقوبية لعمليات تنشيط الخلايا العصبية في شبكة التشفير فيما يتعلق بالإدخال. شرط العقوبة هذا وخوارزمية دالة الخسارة المستخدمة لتقليل خطأ إعادة البناء متضادان: تميل دالة خسارة إعادة البناء نحو ملاحظة الاختلافات في الإدخال بينما يميل شرط العقوبة إلى تجاهلها. من خلال الجمع بين كلا الشرطين، تضطر الشبكة إلى تعلم تمثيل مضغوط للإدخال يحتوي فقط على المتغيرات الأكثر أهمية.

يتم تزويد برامج التشفير التلقائي لإزالة الضوضاء ببيانات إدخال تالفة جزئيًا وتدريبها على استعادة الإدخال الأصلي عن طريق إزالة المعلومات غير المفيدة من خلال تقليل الأبعاد.

على عكس معظم برامج التشفير التلقائي، لا تحتوي برامج التشفير التلقائي لإزالة الضوضاء على بيانات الحقيقة الأساسية باعتبارها الإدخال الذي تتعامل معه. بدلاً من ذلك، يتم إضافة ضوضاء غاوسي إلى البيانات الأصلية - على سبيل المثال، إضافة تشويش عشوائي إلى صورة - ويتعلم برنامج التشفير التلقائي لإزالة الضوضاء (DAE) كيفية تصفيته. أثناء تدريب النموذج، لا يُقاس خطأ إعادة بناء المخرجات التي تمت إزالة الضوضاء منها مقابل بيانات الإدخال التالفة، بل مقابل الصورة الأصلية.

بالإضافة إلى منع الإفراط في التجهيز، فإن أسلوب التدريب هذا يجعل أيضًا برامج التشفير التلقائي لإزالة الضوضاء مفيدة جدًا في تنظيف ملفات الصور وملفات الصوت المليئة بالضوضاء أو التالفة. كما كانت برامج التشفير التلقائي لإزالة الضوضاء بمثابة نماذج تدريب أساسية لنماذج توليد الصور الحديثة مثل نموذج الانتشار المستقر (Stable Diffusion)^.4

تعتبر برامج التشفير التلقائي المتغيرة (VAEs) نماذج توليدية تتعلم التمثيلات المضغوطة لبيانات التدريب الخاصة بها كتوزيعات احتمالية، والتي تُستخدم لتوليد بيانات عينة جديدة من خلال إنشاء أشكال مختلفة من تلك التمثيلات التي تم تعلمها.

يتمثل الاختلاف الأساسي بين برامج التشفير التلقائي المتغيرة (VAEs) والأنواع الأخرى من برامج التشفير التلقائي في أنه في حين أن معظم برامج التشفير التلقائي تتعلم نماذج الفضاء الكامن المنفصلة، فإن برامج التشفير التلقائي المتغيرة (VAEs) تتعلم نماذج متغيرة كامنة مستمرة . بدلاً من متجه تشفير واحد للفضاء الكامن، تقوم برامج التشفير التلقائي المتغيرة (VAEs) بنمذجة متجهين مختلفين: متجه الوسائل، "μ"، ومتجه الانحرافات المعيارية، "σ". نظرًا لأن هذه المتجهات تلتقط السمات الكامنة كتوزيع احتمالي- أي أنها تتعلم تشفيرًا عشوائيًا بدلاً من تشفير حتمي - تسمح برامج التشفير التلقائي المتغيرة (VAEs) بالتدخل وأخذ العينات العشوائية، مما يؤدي إلى توسيع قدراتها وحالات استخدامها بشكل كبير. وهذا يعني أن برامج التشفير التلقائي المتغيرة (VAEs) عبارة عن نماذج ذكاء اصطناعي توليدي.

وبعبارات أبسط، تتعلم برامج التشفير التلقائي المتغيرة تشفير المعارف الميزات المهمة المتعلقة بالميزات التي تحصل عليها من الإدخلات في مجموعات البيانات التي يتم تدريبها عليها بطريقة مرنة وتقريبية تسمح لها بتوليد عينات جديدة تشبه بيانات التدريب الأصلية. يتم تنظيم دالة الخسارة المستخدمة لتقليل خطأ إعادة البناء من خلال تباعد KL بين توزيع احتمالات بيانات التدريب (التوزيع السابق) وتوزيع المتغيرات الكامنة التي تعلمها برنامج التشفير التلقائي المتغير (VAE) (التوزيع اللاحق). تتيح دالة الخسارة التي يتم تنظيمها هذه لبرامج التشفير التلقائي المتغيرة إمكانية توليد عينات جديدة تشبه البيانات التي تم التدريب عليها مع تجنب الإفراط في التجهيز، وهو ما يعني في هذه الحالة توليد عينات جديدة مطابقة جدًا للبيانات الأصلية.

لتوليد عينة جديدة، يقوم برنامج التشفير التلقائي المتغير بأخذ عينات من متجه كامن عشوائي (ε) من داخل الوحدة الغوسية - بمعنى آخر، تحديد نقطة بداية عشوائية من داخل التوزيع الطبيعي - وتحويلها بواسطة متوسط التوزيع الكامن (μ) وقياسها حسب تباين التوزيع الكامن (σ). هذه العملية، التي تسمى خدعة إعادة المعلمة، ⁵ تتجنب أخذ العينات المباشرة من التوزيع المتغير: لأن العملية عشوائية، وليس لها مشتق - مما يلغي الحاجة إلى النشر العكسي خلال عملية أخذ العينات.

عند استخدام برنامج التشفير التلقائي المتغير للمهام التوليدية، يمكن غالباً التخلص من برنامج التشفير بعد التدريب. تمنح التطورات الأكثر تقدمًا لبرامج التشفير التلقائي المتغيرة، مثل برامج التشفير التلقائي المتغيرة المشروطة، المستخدم مزيدًا من التحكم في العينات المولدة من خلال توفير إدخالات مشروطة تقوم بتعديل مخرجات برنامج التشفير.

تحتوي كل من برامج التشفير التلقائي التوليدية والحتمية على مجموعة كبيرة ومتنوعة من حالات الاستخدام عبر مختلف المجالات وأنواع البيانات.

• ضغط البيانات: تتعلم برامج التشفير التلقائي بشكل طبيعي تمثيل مضغوط لإدخال البيانات.
• تقليل الأبعاد: يمكن استخدام عمليات التشفير التي تعلمتها برامج التشفير التلقائي كإدخال إلى الشبكات العصبية المركبة الأكبر حجمًا. ويمكن أن يؤدي تقليل أبعاد البيانات المعقدة إلى استخراج الميزات ذات الصلة بمهام أخرى، بالإضافة إلى زيادة السرعة والكفاءة الحسابية.
• كشف الشذوذ والتعرّف على الوجه: يمكن لبرامج التشفير التلقائي الكشف عن الحالات الشاذة أو الاحتيال أو غيرها من العيوب - وعلى العكس من ذلك، تأكيد التطابق الحقيقي - من خلال تحديد خسارة إعادة بناء البيانات التي تم فحصها بالنسبة للمثال "العادي" أو "الحقيقي" الذي تمت مقارنته به.
• إزالة ضوضاء الصورة وإزالة ضوضاء الصوت: يمكن لبرامج التشفير التلقائي إزالة الضوضاء الدخيلة أو التلف الذي لا يتطابق مع تمثيل الفضاء الكامن الذي تعلمته الشبكة.
• إعادة بناء الصورة: من خلال عكس التقنيات التي تم تعلمها لإزالة الضوضاء، يمكن لبرامج التشفير التلقائي ملء العناصر المفقودة في الصورة. يمكن استخدامها بالمثل لتلوين الصور.
• المهام التوليدية: تم استخدام برامج التشفير التلقائي المتغيرة وبرامج التشفير التلقائي التنافسية (AAEs)، التي تتعلم التوزيعات الاحتمالية المشابهة لتلك التي تعلمتها برامج التشفير التلقائي المتغيرة (VAEs) ولكنها تستخدم شبكة تمييزية عدائية (على غرار الشبكات التنافسية التوليدية) بدلاً من تباعد KL، وحققت نجاحًا كبيرًا للمهام التوليدية. تشمل التطبيقات التوليدية البارزة لبرامج التشفير التلقائي نموذج Dall-E الأصلي من OpenAI لتوليد الصور⁶ وحتى توليد الهياكل الجزيئية المستخدمة للأدوية.⁷