OpenAI mengatakan telah melatih model berbasis GPT-4 yang disebut CriticGPT untuk menangkap kesalahan dalam output kode ChatGPT. Mulai mengintegrasikan model yang mirip dengan CriticGPT ke dalam RLHF kami untuk memberikan bantuan AI eksplisit kepada pelatih OpenAI. Berencana untuk lebih meningkatkan dan menerapkan RLHF pada GPT-4.