وتتم عملية التدريب باستخدام تقنية الحوسبة المتوازية. هذا جعل من الممكن إكمال عملية التدريب بشكل أسرع بكثير مما لو تم إجراؤها على وحدة معالجة رسومات أو معالج واحد. قبل تدريب النظام، تمت معالجة البيانات بطريقة تتم إزالة بيانات التعريف الشخصية منه
عقدت Nvidia شراكة مع OpenAI لتدريب إصدار مكون من 6 مليارات معلمة من ChatGPT باستخدام 30,000 وحدة معالجة رسومات Nvidia. ووفقا للتقارير، استغرقت عملية التدريب عدة أشهر واستهلكت قدرا كبيرا من الطاقة
تتم عملية التدريب باستخدام تقنية الحوسبة المتوازية، والتي تتضمن تقسيم مهمة التدريب واسعة النطاق إلى مهام فرعية أصغر يمكن تنفيذها في وقت واحد عبر العديد من معالجات الرسومات. سمح ذلك بإكمال عملية التدريب بشكل أسرع بكثير مما لو تم إجراؤها على وحدة معالجة رسومات أو معالج واحد.
الهدف من تدريب مثل هذه النماذج اللغوية الكبيرة هو تحسين قدرتها على توليد استجابات شبيهة بالبشر لا يمكن تمييزها عن استجابات الإنسان. تتمتع هذه التكنولوجيا بالعديد من التطبيقات المحتملة، بما في ذلك روبوتات الدردشة والمساعدين الافتراضيين وأنظمة خدمة العملاء الآلية.
تناولت OpenAI المخاوف الأخلاقية المحيطة بتطوير ونشر نماذج لغوية كبيرة، بما في ذلك احتمالية إدامة هذه النماذج للتحيزات والمعلومات المضللة. تعمل OpenAI وغيرها من المنظمات على معالجة هذه المشكلات من خلال تنفيذ الضمانات والشفافية في تطوير ونشر هذه النماذج.
تمت معالجة بيانات التدريب الخاصة بالنموذج مسبقًا لإزالة أي معلومات تعريف شخصية أو بيانات حساسة يمكن استخدامها لتحديد هوية الأفراد أو المجموعات. بالإضافة إلى ذلك، نفذت OpenAI وNvidia العديد من الضمانات لضمان عدم تحيز النموذج أو إثارة استجابات غير مناسبة.
المزيد عن الموضوع على موقع العلوم:
