ما المقصود بـ GPT (المحول التوليدي المسبق التدريب)؟

طرحت شركة OpenAI لأبحاث الذكاء الاصطناعي أول نموذج للمحولات التوليدية مسبقة التدريب (GPT) -والذي أطلق عليه اسم GPT-1- في عام 2018. ومنذ ذلك الحين، أصدرت الشركة العديد من التطورات في خط المحولات التوليدية مسبقة التدريب (GPT) لنماذج الذكاء الاصطناعي. وأحدث طراز للمحولات التوليدية مسبقة التدريب (GPT) هو GPT-4، الذي أُصدر في مطلع عام 2023. وفي مايو 2024، أعلنت شركة OpenAI عن نموذج GPT-4o1 متعدد اللغات والوسائط، قادر على معالجة الصوت والصورة والنصوص في الوقت الحقيقي.

ولأن المحولات التوليدية مسبقة التدريب (GPT) تعد نموذجًا أساسيًا، فقد خضعت لضبط دقيق لاحقًا وتم تكييفها مع مجموعة واسعة من المهام المختصة بالعمليات النهائية. وبالإضافة إلى التطبيق المستند إلى النصوص، فإن المحولات التوليدية مسبقة التدريب (GPT) تشغل تطبيقات الذكاء الاصطناعي التي تولد الصور وتحللها من خلال رؤية الكمبيوتر وكتابة التعليمات البرمجية ومعالجة البيانات وغيرها. وترتبط هذه التطبيقات بالمحولات التوليدية مسبقة التدريب (GPT) من خلال واجهات برمجة التطبيقات (API)، والتي تسمح لهم بتمرير البيانات ذهابًا وإيابًا.

لقد سرّعت نماذج المحولات التوليدية مسبقة التدريب (GPT) من عملية تطوير الذكاء الاصطناعي التوليدي بفضل بنية المحولات الخاصة بها، وهي إحدى أنواع الشبكة العصبية التي قُدِّمت في عام 2017 في دراسة بحثية بعنوان "Attention Is All You Need"^{2 (الانتباه هو} كل ما تحتاجه). وقد دعمت نماذج المحولات مثل GPT وBERT العديد من التطورات البارزة في الذكاء الاصطناعي التوليدي منذ ذلك الحين، مع احتلال روبوت المحادثة ChatGPT من OpenAI مركز الصدارة.

وبالإضافة إلى OpenAI، أصدرت شركات أخرى نماذج للذكاء الاصطناعي التوليدي، بما في ذلك نموذج Claude من شركة Anthropic، ونموذج Pi من شركة Inflection، ونموذج Gemini من شركة Google، والذي كان يُعرف سابقاً باسم Bard. وفي الوقت نفسه، تشغل شركة OpenAI خدمة الذكاء الاصطناعي Copilot من Microsoft.

إن مرونة نماذج المحولات مثل المحولات التوليدية مسبقة التدريب (GPT) تجعلها مناسبة لمجموعة واسعة من حالات الاستخدام. كما أن قدرة المحولات التوليدية مسبقة التدريب (GPT) على توليد نصوص شبيهة بالنصوص البشرية يجعلها خيارًا واسع الانتشار بالنسبة إلى:

• روبوتات المحادثة والمساعدون الصوتيون
• إنشاء المحتوى وإنشاء النصوص
• ترجمة اللغة
• تلخيص المحتوى وتحويله
• تحليل البيانات
• البرمجة
• الرعاية الصحية

توفر روبوتات المحادثة التي تشغلها المحولات التوليدية مسبقة التدريب (GPT) تجربة أكثر إنسانية مقارنةً بخيارات خدمة العملاء المؤتمتة التقليدية. فمن خلال واجهات برمجة التطبيقات، يمكن للمنظمات ربط المحولات التوليدية مسبقة التدريب (GPT) بالتطبيقات الصوتية لإنشاء مساعدين صوتيين قادرين على الرد على عبارات أكثر تعقيدًا وتقديم خدمات الإجابة على الأسئلة الحوارية.

بفضل الموجّهات الفعّالة، يمكن لنماذج المحولات التوليدية مسبقة التدريب (GPT) توليد النصوص، بدءًا من النصوص القصيرة على وسائل التواصل الاجتماعي، ووصولاً إلى منشورات المدونات الكاملة ورسائل البريد الإلكتروني. كما يمكن للكتّاب استخدام المحولات التوليدية مسبقة التدريب (GPT) لوضع الخطوط العريضة أو الأفكار للمحتوى ليقوموا لاحقًا بكتابته بأنفسهم، ما يسهّل من مهام سير عمل كتابة المحتوى.

قد يؤدي استخدام المحولات التوليدية مسبقة التدريب (GPT) في كتابة المحتوى ونشره مباشرة إلى مخاوف تتعلق بحقوق الملكية الفكرية — وهي إحدى المخاطر الرئيسية لاستخدام المحولات التوليدية مسبقة التدريب (GPT).

يمكن للتطبيقات التي تعمل بنظام المحولات التوليدية مسبقة التدريب (GPT) ترجمة اللغات في الوقت الحقيقي من المصادر المكتوبة والصوتية. وفي عرض تجريبي حي³، أظهر GPT-4o قدرته على الترجمة في الوقت الحقيقي بنفسه.

يمكن للمحولات التوليدية مسبقة التدريب (GPT) معالجة المستندات الطويلة وتلخيصها، مثل البيانات القانونية أو تقارير الأعمال. ويمكنها أيضًا إعادة كتابة المحتوى بالنمط الذي يحدده المستخدم. على سبيل المثال، يمكن للمستخدم تقديم التقرير ربع السنوي بوصفه بيانات مُدخلة ثم طلب تلخيصه في صورة نقاط ذكية.

يمكن للمحولات التوليدية مسبقة التدريب (GPT) معالجة كميات كبيرة من البيانات وتحويلها إلى معارف سهلة الفهم. ومن خلال واجهات برمجة التطبيقات، يمكن للتطبيقات الأخرى استخدام المحولات التوليدية مسبقة التدريب (GPT) لإنشاء مخططات ورسوم بيانية وأنواع أخرى من العروض المصورة للبيانات. وقد تؤدي تغذية المنظمات للمحولات التوليدية مسبقة التدريب (GPT) ببيانات داخلية إلى تعريض نفسها لمخاطر اختراق الأمن الإلكتروني أو انتهاك لوائح حماية البيانات.

يمكن لنماذج المحولات التوليدية مسبقة التدريب (GPT) تعلّم لغات البرمجة وإنشاء مقتطفات من التعليمات البرمجية. وعادةً ما يتمتع المستخدمون بنتائج أفضل عند التعامل مع المحولات التوليدية مسبقة التدريب (GPT) بصفتها مساعد في البرمجة بدلاً من الاعتماد عليها لبناء تطبيقات كاملة من الصفر. ويجب أن تُراجع جميع المحتويات التي أنشأتها المحولات التوليدية مسبقة التدريب (GPT) -بما في ذلك التعليمات البرمجية- قبل الاستخدام للمساعدة في ضمان الدقة والاستخدام العادل.

في فبراير 2024، أصدرت المكتبة الوطنية الأمريكية للطب دراسة توضح تطبيقات GPT المحتملة في مجال الرعاية الصحية. شملت التطبيقات توفير وصول مستمر للمرضى في المناطق النائية بالإضافة إلى خيارات الرعاية الشخصية. ومع ذلك، تناولت الدراسة البحثية أيضًا مجموعة من الجوانب السلبية، مثل المخاوف المتعلقة بالخصوصية والقيود المعرفية.

تعمل نماذج المحولات التوليدية مسبقة التدريب (GPT) على تحليل سلسلة المدخلات وتطبيق مسائل رياضية معقدة للتنبؤ بالمُخرجات الأكثر احتمالاً. تستخدم النماذج الاحتمالات لتحديد أفضل كلمة تالية ممكنة في الجملة، بناءً على جميع الكلمات السابقة. وبوصف المحولات التوليدية مسبقة التدريب (GPT) نوعًا من تقنيات الذكاء الاصطناعي للتعلم العميق، فيمكنها معالجة اللغة الطبيعية (NLP) لفهم موجِّهات المستخدم وتوليد ردود ذات صلة شبيهة بالردود البشرية.

عندما يدخل المستخدم مطالبة قائمة على النص، تنشئ المحولات التوليدية مسبقة التدريب (GPT) الاستجابة الأكثر احتمالاً بناءً على بيانات التدريب الخاصة بها والتي تضم مليارات من مصادر البيانات النصية المتاحة للجمهور بدءًا من الأعمال الأدبية الشهيرة ووصولاً إلى التعليمات البرمجية مفتوحة المصدر.

تتمكن المحولات التوليدية مسبقة التدريب (GPT) من محاكاة قدرات فهم اللغة على نحو شبيه بالبشر بفضل اتساع نطاق مجموعات البيانات التدريبية الخاصة بها. وتطبق نماذج المحولات التوليدية مسبقة التدريب (GPT) واسعة النطاق التعلم العميق لمعالجة السياق واستخلاص المعرفة من النص ذي الصلة في بيانات التدريب الخاصة بها للتنبؤ بالردود المثلى.

تنبع قوة نماذج المحولات التوليدية مسبقة التدريب (GPT) من جانبين رئيسيين:

• التدريب التوليدي المسبق الذي يُعلّم النموذج كيفية اكتشاف الأنماط في البيانات غير المسماة، ثم تطبيق تلك الأنماط على مدخلات جديدة.

• بنية المحول التي تمكّن النموذج من معالجة جميع أجزاء سلسلة المدخلات في وقت واحد.

التدريب التوليدي المسبق هو عملية تدريب النموذج اللغوي الكبير على بيانات غير مُسمّاة، وتعليم النموذج كيفية التعرف على البيانات المختلفة وصقل قدرته على إنشاء تنبؤات دقيقة. تنشئ المحولات التوليدية مسبقة التدريب (GPT) بيانات جديدة من خلال تطبيق أنماط بيانات ما قبل التدريب وهيكلها على مدخلات المستخدم.

التدريب التوليدي المسبق هو أحد أشكال التعلُّم غير الخاضع للإشراف، حيث تتم تغذية النموذج ببيانات غير معنونة ويضطر إلى فهمها من تلقاء نفسه. ومن خلال تعلم كيفية اكتشاف الأنماط في مجموعات البيانات غير المعنونة، تكتسب نماذج التعلم الآلي القدرة على استخلاص استنتاجات مماثلة عند تعرضها لمدخلات جديدة، ومن أمثلة ذلك موجِّهات المستخدمين في ChatGPT.

تُدرَّب نماذج المحولات التوليدية مسبقة التدريب (GPT) باستخدام مليارات أو حتى تريليونات من المعلمات: وهي المتغيرات الداخلية التي يحسنها النموذج خلال عملية التدريب وتحدد سلوك النموذج. وعلى الرغم من أن OpenAI لم تكشف بعد عن تفاصيل دقيقة حول GPT-4، فإن التقديرات تشير إلى أن النموذج يحتوي على ما يقرب من 1.8 تريليون ^معلمة4 بزيادة أكثر من عشرة أضعاف مقارنة بنموذج GPT-3.5.

تعد نماذج المحولات نوعًا من أنواع الشبكات العصبية المتخصصة في معالجة اللغة الطبيعية: حيث تحدد القصد والمعنى في المدخلات النصية. ويمكنها معالجة المدخلات بشكل ديناميكي والتركيز على الكلمات الأكثر أهمية، بغض النظر عن موقعها في الجملة.

لا تفهم نماذج المحولات التوليدية مسبقة التدريب (GPT) اللغة بنفس الطريقة التي يفهمها بها البشر. فبدلاً من ذلك، تعالج الكلمات بتقسيمها إلى وحدات منفصلة تسمى الرموز المميزة، وتقسم بعض الكلمات إلى عدة رموز مميزة. ومن خلال تقييم جميع الرموز المميزة في وقت واحد، تتفوق المحولات في إنشاء علاقات تبعية بعيدة المدى: العلاقات بين الرموز المميزة المتباعدة. وتعتمد المحولات التوليدية مسبقة التدريب (GPT) على فهمها للتبعيات بعيدة المدى لمعالجة المدخلات في السياق.

تعالج نماذج المحولات البيانات باستخدام وحدتين تعرفان باسم وحدات التشفير وفك التشفير، وتستخدم آليات الانتباه الذاتي لإنشاء التبعيات والعلاقات.

تمثل آليات الانتباه الذاتي الميزة البارزة للمحولات، ما يمكّنها من معالجة سلسلة كاملة من المدخلات في آن واحد. ويمكن للمحولات توجيه "انتباهها" ذاتيًا إلى الرموز المميزة الأهم في سلسلة المدخلات، بغض النظر عن مكان وجودها.

على النقيض من ذلك، تقوم الشبكات العصبية الشبكية التكرارية (RNN) الأقدم والشبكات العصبية الالتفافية (CNN) بتقييم إدخال البيانات بشكل تسلسلي أو هرمي. ويسمح الانتباه الذاتي للمحولات التوليدية مسبقة التدريب (GPT) بمعالجة السياق والرد بإسهاب بلغة تبدو طبيعية، بدلاً من مجرد تخمين الكلمة التالية في الجملة.

التشفير هو عملية تعيين الرموز المميزة على فضاء متجهي افتراضي ثلاثي الأبعاد. ويُفترض أن تكون الرموز المميزة المشفرة القريبة من بعضها في الفضاء الثلاثي الأبعاد أكثر تشابهًا في المعنى. يُعرف هذا التمثيل الرياضي لتسلسل المدخلات باسم التضمين.

تقوم كتل التشفير في شبكة المحولات بتعيين وزن لكل تضمين، وهو ما يحدد أهميتها النسبية. وفي الوقت نفسه، تلتقط أجهزة تشفير الموضع الدلالات، ما يمكّن نماذج المحولات التوليدية مسبقة التدريب (GPT) من التفريق بين مجموعات من الكلمات نفسها ولكنها بترتيب مختلف - على سبيل المثال، عبارة "جاءت البيضة قبل الدجاجة" مقارنةً بـعبارة "جاءت الدجاجة قبل البيضة".

تتنبأ أجهزة فك التشفير بالاستجابة الأكثر احتمالاً من الناحية الإحصائية للتضمينات التي أعدتها أجهزة التشفير. وتسمح آليات الانتباه الذاتي لأجهزة فك التشفير بتحديد الأجزاء الأكثر أهمية في سلسلة المدخلات، بينما تحدد الخوارزميات المتقدمة المخرجات الأكثر احتمالاً أن تكون صحيحة.

منذ إصدار المحولات التوليدية مسبقة التدريب (GPT) في عام 2018، ظلت OpenAI في صدارة النقاشات الجارية حول الذكاء الاصطناعي التوليدي. وبالإضافة إلى منتج الشركة الرئيسي ChatGPT، سعت الشركة أيضًا إلى توليد الصور من خلال DALL-E وكذلك الفيديو التوليدي من خلال Sora.

أطلقت شركة OpenAI أول نموذج للمحولات التوليدية مسبقة التدريب (GPT) لديها. وقد كان أداؤه مثيرًا للإعجاب في ذلك الوقت، حيث كان بمثابة دليل على ما ستحققه التطورات اللاحقة، حيث كان GPT-1 قادرًا على الإجابة عن الأسئلة بطريقة تشبه إجابات البشر، وكان قادرًا على الاستجابة لمطالبات توليد النصوص، ما يسلط الضوء على حالات الاستخدام المستقبلية في روبوتات المحادثة وإنشاء المحتوى.

كان GPT-1 معرضًا نسبيًا للهلوسة أو الاختلاقات، حيث كان يقدم معلومات غير صحيحة كما لو كانت حقائق. أشارت إجاباته إلى أن شركة OpenAI لم تطور بعد قدرة المحول التوليدي مسبق التدريب (GPT) الخاص بها على تحديد الاعتماديات بعيدة المدى وصياغة ردود دقيقة طويلة المدى في الوقت نفسه.

يضم النموذج التالي من OpenAI 1.5 مليار معلمة، ما يعزز من أدائه. وكان GPT-2 أكثر نجاحًا من سابقه عندما يتعلق الأمر بالحفاظ على التماسك على مدار الاستجابات الطويلة، ما يشير إلى أن اكتشافه للتبعية بعيدة المدى كان أكثر رسوخًا.

أُصدِر GPT-2 على مراحل، وتوفرت منه عدة نماذج محدودة السعة قبل الإصدار الكامل. في بيان⁵، أوضحت شركة OpenAI أن الإصدار المتدرج كان ضروريًا لتقليل مخاطر الاستخدام الخاطئ المحتمل ومعالجة المخاوف الأخلاقية الأخرى. وأشارت OpenAI إلى إمكانية استخدام هذا النموذج لانتحال شخصية الآخرين على الإنترنت، ونشر أخبار مضللة وأتمتة كل من محتوى التنمر الإلكتروني ورسائل التصيد الاحتيالي.

على الرغم من أن Sam Altman، الرئيس التنفيذي (CEO) لشركة OpenAI، قد دعا علنًا مرارًا وتكرارًا إلى التنظيم الحكومي للذكاء الاصطناعي، فإن الشركة قامت بمساعٍ خاصة أيضًا لخفيف قيود قانون الاتحاد الأوروبي للذكاء الاصطناعي6. وظهرت الصياغة النهائية للتشريع، التي أقرها البرلمان الأوروبي في يونيو 2024، متوافقة مع توصيات الشركة.

مع تزويد GPT-3 بعدد 175 مليار معلمة - أي أكثر بمائة مرة من الإصدار السابق - فقد برز بوصفه واحدًا من أكبر النماذج اللغوية الكبيرة في ذلك الوقت. وقد تفوقت قدرته على النماذج السابقة في سلالته بشكل كبير. ومايزال الإصدار المجاني من ChatGPT يعمل بواسطة GPT-3.5، وهو الإصدار الأحدث من GPT-3.

وفي حين أن أداء GPT-3 يعكس قوته وحجمه الإضافيين، فإن متطلبات التدريب الخاصة به قد ارتفعت بشكل كبير. وقد أثارت الحوسبة ومصادر الطاقة المطلوبة لتهيئة مثل هذه النماذج اللغوية الكبيرة قلقًا بشأن بصمتها الكربونية والمائية⁷. واستجابةً لذلك، طوّرت شركة OpenAI أساليب تدريب حديثة زادت من كفاءة عملية التدريب.

الإصدار الحالي من المحولات التوليدية مسبقة التدريب (GPT)هو أقوى إصدار من شركة OpenAI حتى الآن، حيث يتفوق على الإصدارات السابقة في جودة المحتوى وتجنب التحيز. وهو السبب الكامن وراء الإصدار المتميز من ChatGPT، ما يمنح المشتركين وظائف أكبر وأداءً أفضل من الإصدار المجاني من الخدمة الذي يعمل بنظام GPT-3.5.

ومع ذلك، فهو أيضًا النموذج الأكثر استهلاكًا للموارد في عائلة المحولات التوليدية مسبقة التدريب (GPT)، حيث يقدر تكلفة التشغيل اليومية بنحو 700,000⁸ دولار أمريكي. ومع استمرار نمو النماذج اللغوية الكبيرة، تتواصل النقاشات حول مقارنة التكاليف بالفوائد المحتملة. وقد ركز تقرير صادر عن Goldman Sachs في يونيو 2024⁹ على محدودية حالات الاستخدام المحتملة للذكاء الاصطناعي التوليدي مقارنةً بارتفاع تكاليف تدريب النماذج وصيانتها.

تقتصر معرفة GPT-4 Turbo-وهو التكرار الحالي للنموذج- على المعلومات الصادرة قبل أبريل 2023. وهذا يعني أن بيانات التدريب أو القاعدة المعرفية الخاصة به لا تغطي أي محتوى على الإنترنت أُصدر بعد هذه النقطة.

كُشف عن إصدار GPT-4o في مايو من عام 2024، وهو نموذج متعدد اللغات، ويدعم المحتوى بالعديد من اللغات غير الإنجليزية، كما أنه متعدد الوسائط، حيث يقدر على معالجة مطالبات الصور والصوت والفيديو مع إمكانية توليد نصوص وصور ومحتوى صوتي استجابةً لذلك. ووفقًا لشركة OpenAI، فإن سعر GPT-4o أقل بنسبة %50 من GPT-4 Turbo، وهو أسرع منه بمقدار الضعف¹⁰ في إنشاء النصوص.

على الرغم من الاحتفاء بالمحولات التوليدية مسبقة التدريب (GPT) ونماذج الذكاء الاصطناعي التوليدي الأخرى على نطاق واسع في وسائل الإعلام، فإن استخدامها لا يخلو من المخاطر. ويجب أن تكون المنظمات والأفراد الذين يسعون إلى دمج المحولات التوليدية مسبقة التدريب (GPT) في سير العمل على دراية بالمخاطر المحتملة، بما في ذلك:

• خصوصية البيانات وسريتها

• انتهاكات الملكية الفكرية وتضارب الملكية

• المخرجات غير الدقيقة

• تحيز النموذج

أي بيانات يتم إدخالها في المحولات التوليدية مسبقة التدريب (GPT) تكون متاحة للاستخدام عند معالجة الاستعلامات الأخرى ويمكن لشركة OpenAI استخدامها لتدريب النماذج الأخرى. ولا يشكل هذا الأمر خطرًا أمنيًا على البيانات السرية فحسب، بل إنه يعرض المنظمات لخطر انتهاك الالتزامات التعاقدية والقانونية لحماية البيانات.

تدرب شركة OpenAI نماذجها على مواد محمية بحقوق الطبع والنشر. تدافع الشركة عن هذا الاختيار باعتباره استخدامًا عادلاً، لكنها واجهت دعاوى قضائية، بما في ذلك رفع دعوى قضائية رفعتها صحيفة The New York Times¹¹ في ديسمبر 2023. يمكن أن تحتوي مخرجات الذكاء الاصطناعي على محتوى محمي بحقوق الطبع والنشر، وقد يؤدي استخدامه إلى انتهاك هذه الحقوق إذا لم يراجعه ويحرره البشر مسبقًا.

تعرضت OpenAI لانتقادات عندما زُعم عبر الانترنت أن إحدى أصوات ChatGPT كان يشبه صوت الممثلة Scarlett Johansson¹² التي لعبت دور صوت الذكاء الاصطناعي في فيلم Her عام 2013. وقد توقفت شركة OpenAI منذ ذلك الحين عن استخدام هذا الصوت بالتحديد في منتجاتها.

لا يمكن ضمان دقة المحتوى الناتج عن المحولات التوليدية مسبقة التدريب (GPT) من الناحية الواقعية. ونماذج الذكاء الاصطناعي التوليدي معرضة للهلوسة أو اختلاقات المعلومات، حيث تتعرف خوارزمياتها على أنماط وهمية في البيانات. ينتج عن هذه الاختلاقات محتوى غير صحيح يُقدَّم للمستخدم وكأنه حقيقة مثبتة. وتمَّت مناقشة هذا التوجه في ChatGPT بشكل موسَّع في ورقة بحثية عام 2024 نشرها Hicks وآخرون عام 2024¹³.

تحيز النموذج هو انحراف بين تنبؤات النموذج المستندة إلى بيانات التدريب وما يحدث في العالم الحقيقي. تُدرَّب المحولات التوليدية مسبقة التدريب (GPT) على كم هائل من بيانات الإنترنت، ولأن هذا المحتوى ينشئه البشر، فقد يحتوي على آراء تمييزية – أحيانًا يكون ذلك عن عمد، وأحيانًا أخرى لا يكون مقصودًا. ومع اندماج الذكاء الاصطناعي في العمل الشرطي والرعاية الصحية وغيرها من مجالات الحياة اليومية، يمكن أن تؤدي التحيزات في الذكاء الاصطناعي إلى عواقب واقعية تؤثر سلبًا على الأفراد والمجتمعات.