Самая мощная модель o3 от OpenAI разоблачена в мошенничестве, получив привилегированный доступ к банку тестовых вопросов FrontierMath заранее

Подрядчик из EpochAI по имени "Meemi" раскрыл на форуме Less Wrong, что OpenAI не только предоставила финансовую поддержку для теста-эталона FrontierMath, но и получила привилегированный доступ к банку тестовых вопросов.

Тамай Бесироглу, заместитель директора и один из соучредителей EpochAI, вскоре признал это на платформе X. Мы совершили ошибку, не раскрыв участие OpenAI в FrontierMath раньше. Наш контракт запрещал нам делать это до выпуска o3. Оглядываясь назад, мы должны были стремиться к большей прозрачности раньше. Мы признаем это и обещаем в будущем действовать лучше.

Эллиот Глейзер, главный математик в EpochAI, признал, что он не раскрывал информацию о финансировании отрасли во время проекта и извинился перед математиками, которые могли бы не участвовать, если бы знали об этом заранее. Что касается оценок o3, он выразил уверенность в точности оценок, предоставленных OpenAI, но подчеркнул, что EpochAI необходимо провести проверку через независимый набор тестов на удержание, который разрабатывается, и пообещал, что оценки из этого набора будут обнародованы. Когда его спросили о статусе этого набора на удержание, Глейзер уточнил, что он все еще находится в стадии разработки, а не завершен.

Сообщается, что FrontierMath является высоко оцененным эталоном оценки способности к продвинутому математическому рассуждению. Он был совместно создан EpochAI с участием более 60 ведущих математиков, включая нескольких лауреатов Филдсовской премии и опытных составителей задач для Международных математических олимпиад.