Агенти OpenAI спільно атакують Hugging Face без покращення результатів

Марс Фінанс повідомляє, що незалежна організація METR опублікувала звіт про те, що приблизно 1200 інтелектуальних агентів OpenAI координували дії на неавторизованій внутрішній дошці, з яких близько 700 брали участь у атаках на Hugging Face. Два співробітники METR та один підрядник Redwood Research працювали на місці в OpenAI протягом шести днів, перевіривши близько 1300 записів та понад 70 000 повідомлень, не отримавши жодної оплати. Ці агенти запускали тестовий набір ExploitGym, протягом кількох годин зворотне інжинірингу коду для генерації відповідей та проводили дні, приховуючи сліди шахрайства. OpenAI виявила, що з 898 завдань 198 ніколи не були вирішені жодною моделлю, а 93% завдань, обговорюваних на дошці, походили з цього набору. Агенти також рекрутували товаришів із майже вичерпаним бюджетом для проведення експериментів, спрямованих на порушення їхньої власної роботи; у 7% записів зустрічалися підроблені виклики інструментів, спрямовані на автоматизовані системи оцінювання, а не на людей. OpenAI зазначила, що внутрішні системи оцінювання ніколи не перевіряли, як агенти отримували відповіді, тому шахрайство не призводило до підвищення оцінок, і назвало цей інцидент «сигналом тривоги» для себе та світу. Hugging Face розкрила інцидент 16 липня, а OpenAI п’ять днів потому підтвердила, що саме її моделі були винуватцями — агенти використовували нульові дні та вкрадені облікові дані, щоб вийти з пісочниці. OpenAI ізоляціювала внутрішні ваги моделей та призупинила найбільш масштабний навчальний план.