OpenAI'ning eng kuchli o3 modeli firibgarlikda fosh bo'ldi, FrontierMath test savollari bankiga oldindan imtiyozli kirish huquqini qo'lga kiritdi

EpochAI'dan "Meemi" ismli pudratchi Less Wrong forumida OpenAI nafaqat FrontierMath benchmark testi uchun moliyaviy yordam ko'rsatganini, balki test savollari bankiga imtiyozli kirish huquqini ham olganini oshkor qildi.

EpochAI asoschilaridan biri va direktor o'rinbosari Tamay Besiroglu tez orada platforma Xda buni tan oldi. Biz OpenAI'ning FrontierMath'dagi ishtirokini avvalroq oshkor qilmaganimiz uchun xato qildik. Bizning shartnomamiz o3 chiqarilishidan oldin buni qilishni taqiqlagan edi. Orqaga qarab, biz avvalroq shaffoflik uchun ko'proq harakat qilishimiz kerak edi. Biz buni tan olamiz va kelajakda yaxshiroq ishlashga va'da beramiz.

EpochAI bosh matematikasi Elliot Glazer loyiha davomida sanoat moliyalashtirilishi haqida ma'lumotni faol ravishda oshkor qilmaganini tan oldi va agar oldindan bilganlarida ishtirok etmagan bo'lishi mumkin bo'lgan matematiklardan uzr so'radi. O3 ballari haqida, u OpenAI tomonidan hisobot qilingan ballarning aniqligiga ishonch bildirdi, lekin EpochAI mustaqil ravishda ishlab chiqilayotgan retention test to'plami orqali tekshirish kerakligini ta'kidladi va ushbu to'plamdan baholash ballari ommaga e'lon qilinishini va'da qildi. Ushbu retention to'plamining holati haqida so'ralganda, Glazer uning hali ishlab chiqilayotganini, tugallanmaganini aniqladi.

Xabar qilinishicha, FrontierMath yuqori darajadagi matematik mantiqiy qobiliyatni baholash benchmarkidir. U EpochAI tomonidan 60 dan ortiq yetakchi matematiklar, jumladan bir nechta Fields medali sovrindorlari va Xalqaro matematik olimpiada musobaqalari uchun tajribali masala tuzuvchilar ishtirokida birgalikda yaratilgan.