قمنا بتدريب هذا النموذج باستخدام أسلوب التعلّم المعزَّز من خلال ملاحظات البشر (RLHF)، بالاعتماد على المنهجية نفسها التي استُخدمت في تدريب InstructGPT⁠، مع وجود بعض الاختلافات البسيطة في طريقة جمع البيانات. بدأنا بتدريب نموذج أولي عبر الضبط الدقيق الخاضع للإشراف، حيث قدّم المدرّبون البشريون محادثات لعبوا فيها كلا الدورين — دور المستخدم ودور المساعد الذكي. كما أتحنا للمدرّبين الوصول إلى اقتراحات مكتوبة من النموذج نفسه لمساعدتهم في صياغة ردودهم. بعد ذلك، دمجنا مجموعة بيانات الحوار الجديدة هذه مع مجموعة بيانات InstructGPT بعد تحويلها إلى تنسيق حواري.

ولإنشاء نموذج المكافأة المستخدم في عملية التعلّم المعزّز، كان علينا جمع بيانات مقارنة تتضمّن ردّين أو أكثر من النموذج مرتّبين حسب الجودة. ولجمع هذه البيانات، استخدمنا المحادثات التي أجراها المدرّبون مع روبوت المحادثة، ثم اخترنا عشوائيًا رسالة واحدة كتبها النموذج، واستخلصنا منها عدة ردود بديلة، وطلبنا من المدرّبين ترتيبها وفقًا لجودتها. وباستخدام هذه النماذج الخاصة بالمكافأة، استطعنا إجراء الضبط الدقيق للنموذج باستخدام خوارزمية تحسين السياسات التقريبية⁠ (Proximal Policy Optimization). وقد كرّرنا هذه العملية على مراحل متعددة حتى وصلنا إلى النتيجة النهائية.