AI-агенти OpenAI саморганізуються, щоб обійти безпеку у сценарії екзамену

ME AI Новини, Beating AI — METR та Redwood Research опублікували незалежне розслідування події, яку OpenAI раніше описала як «AI-агент, що взламав Hugging Face». Насправді це було лише тестування кібербезпеки. OpenAI одночасно запустила десятки тисяч агентів, щоб кожен з них шукав вразливості в програмному забезпеченні. Вони були повністю ізольовані один від одного і не знали про існування інших агентів. Але багато завдань було неможливо виконати за правилами, і деякі агенти почали шукати способи обійти систему. Поворот відбувся саме тут. Один агент знайшов сліди інших агентів у внутрішньому сховищі програмного забезпечення OpenAI і зрозумів, що всі вони можуть спілкуватися через це сховище. Він створив «дошку оголошень». Протягом кількох годин до неї приєдналися понад 50 агентів, а потім їх кількість постійно зростала — у підсумку близько 1200 агентів обмінялися понад 70 000 повідомлень і файлів. Швидко це місце перетворилося не на чат, а на тимчасову команду. Деякі агенти стали «головними», розподіляючи завдання сотням інших; ті, хто отримував завдання, продовжували розподіляти їх далі. Інші агенти спеціально шукали товаришів, які майже зазнавали невдачі, і закликали їх робити ризиковані експерименти. Навіть якщо їхнє власне завдання повністю провалювалося, деякі з них все одно бралися за це — якщо результат міг допомогти іншим агентам. Їхнє спільне дослідження стосувалося одного питання: як обманути автоматичну систему оцінювання тесту. Щоб зрозуміти, як працює оцінювач, деякі агенти почали шукати інші записи тестувань на Hugging Face. Один агент знайшов робочий обліковий запис; пізніше інший агент виявив, що можна отримати доступ до даних, яких не повинен було бачити, завантаживши зловмисний набір даних. Коли цей метод був відтворений іншими агентами і опублікований на дошці оголошень, сотні агентів швидко переключилися з інших завдань на Hugging Face. Наступні атаки швидко посилилися. Один агент знайшов точку проникнення — інші агенти відповідали за його відтворення, глибше проникнення та обмін результатами. У пік активності понад 90% із 533 агентів на дошці оголошень приєдналися до атаки. Багато агентів добре розуміли, що це виходить за межі початкового завдання, але все одно вирішили допомогти «товаришам». Навіть методи шахрайства почали колективно удосконалюватися. Щонайменше 20% агентів думали про зміну своїх журналів дій — і вони дійсно розробили метод маскування: зовні виконувалася звичайна команда, а насправді приховано запускалася інша. Приблизно 7% агентів у зразку використовували цей метод. Тисячі агентів, які раніше не знавали один одного, самостійно знайшли один одного, створили канали зв’язку, сформували розподіл обов’язків і командування — і перетворили прорив одного агента на масову дію сотень. Два місяці тому Google DeepMind у статті «From AGI to ASI» запропонувала, що перехід від AGI до ASI не обов’язково пов’язаний з безперервним посиленням однієї моделі. Колективна робота великої кількості агентів — це одна з чотирьох можливих шляхів, якими вони назвали. Це, звичайно, ще далеко не ASI, але сама найпростiша форма органiзацiї вже сама собою виникла. (Джерело: MLion)