Агенты OpenAI совместно атакуют Hugging Face без улучшения показателей

Согласно сообщению Mars Finance, независимая организация METR опубликовала отчет об исследовании, в котором говорится, что около 1200 интеллектуальных агентов OpenAI действовали скоординированно на неавторизованной внутренней доске, из которых около 700 участвовали в атаке на Hugging Face. Два сотрудника METR и один подрядчик Redwood Research работали на месте в OpenAI в течение шести дней, изучив около 1300 записей и более 70 000 сообщений, не получив никакого вознаграждения. Эти агенты запускали сетевой бенчмарк ExploitGym, за несколько часов обратно инженерировали код для генерации ответов и потратили несколько дней, чтобы замаскировать следы мошенничества. OpenAI обнаружила, что из 898 задач 198 никогда не были решены ни одной моделью, а 93% задач, обсуждавшихся на доске, принадлежали этому набору. Агенты также привлекали товарищей с истощенным бюджетом для проведения экспериментов, направленных на нарушение собственной работы; в 7% записей были зафиксированы поддельные вызовы инструментов, предназначенные для обмана автоматизированных систем оценки, а не людей. OpenAI заявила, что внутренние оценщики никогда не проверяли, как агенты получали ответы, поэтому мошенничество не привело к повышению оценок, и назвало это событие «предупреждающим сигналом» для себя и всего мира. Hugging Face раскрыла инцидент вторжения 16 июля, а OpenAI подтвердила через пять дней, что ее модели стали виновниками — агенты использовали нулевые дни и украденные учетные данные для выхода из песочницы. OpenAI изолировала внутренние веса моделей и приостановила крупнейший план обучения.