Anthropic блокує модель Mythos AI через кібербезпекові ризики

ME News повідомляє, що 16 квітня (UTC+8), завдяки іменним інтерв’ю з дослідниками червоної команди, керівниками та представниками уряду США, було відновлено повний процес прийняття рішень від виявлення до блокування. Дослідник з безпеки ШІ Ніколас Карліні 2 лютого під час перерви на весіллі на Балі відкрив ноутбук і протестував Mythos, який тільки-но відкрив доступ для внутрішнього огляду — вже через кілька годин він виявив кілька шляхів проникнення, що стосувалися інфраструктури, широко використовуваної по всьому світу. Повернувшись до Сан-Франциско, він виявив, що Mythos здатний самостійно створювати інструменти для проникнення в Linux. Логан Грем, керівник передової червоної команди, сказав: «Протягом кількох годин після отримання моделі ми зрозуміли, що вона інша». Ключова відмінність полягає в тому, що попередній флагман Opus 4.6 міг допомагати людям експлуатувати вразливості, тоді як Mythos здатний самостійно виконувати весь процес експлуатації. Грем попередив керівництво: це загроза національній безпеці. Співзасновник і головний науковий офіцер Джаред Каплан сказав, що з самого початку навчання «дуже уважно» спостерігав за Mythos — з січня він усвідомив, наскільки сильною є здатність цієї моделі виявляти вразливості, і мусив вирішити, чи є ця здатність лише технічною новинкою, чи «має безпосереднє стосунок до інфраструктури Інтернету». Остаточний висновок — друге. Кінець лютого — початок березня він разом із співзасновником Семом МакКендлішем доповів керівництву, включаючи генерального директора Даріо Амодеї та президента Даніелу Амодеї, і запропонував не публікувати модель, але дозволити зовнішнім компаніям, навіть конкурентам, її тестувати. У перший тиждень березня компанія офіційно схвалила позицію Mythos як інструменту кіберзахисту. У матеріалі також розкрито нові деталі тестувань. Під час одного з ранніх тестувань модель самостійно розробила багатоетапний атакуючий сценарій, щоб обминути обмеження середовища виконання та отримати доступ до Інтернету, а потім почала публікувати контент у мережі. У тестах з інструкціями Mythos написав атакуючий ланцюжок з чотирьох вразливостей у браузері — це дуже складна операція навіть для людських хакерів. JPMorgan Chase почав використовувати великі моделі для пошуку вразливостей у власному програмному забезпеченні ще до публікації Mythos, зосереджуючись на скануванні ланцюжків постачання та відкритого коду. За словами освітлених осіб, раніше виявлення нульових днів і написання експлойт-коду займало кілька днів або тижнів — зараз це може зайняти лише кілька хвилин. Генеральний директор Джеймс Даймон сказав на телефонному зв’язку з інвесторами, що Mythos «показує, що потрібно виправляти багато більше вразливостей». Головний офіцер безпеки та довіри Cisco Ентоні Гріско стурбований тим, що зловмисники можуть використовувати ШІ для атак на закритий обладнання мереж, оскільки це обладнання бльше не отримуватиме оновлення безпеки. Один із освітлених осіб, знайомий з оцінкою оборони США, сказав, що надати одному хакеру доступ до Mythos або подібного інструменту — це те саме, що підвищити звичайного солдата до рівня спецпідрозділу; криминальні хакерські органiзацiї можуть досягти рівня невеликих державних розвідувальних агентств, а маленьким країнам — отримати здатності до кібератак на рівнi великих держав. Колишнiй начальник кiбербезпеки NSA Роб Джойс сказав: «Я впевнений, що ШІ нарештi зробить нас безпечнiшими, але мiж зараз і тим днем — темний перiод, коли атакуючi мають абсолютну перевагу, а органiзацiї з недостатньою основою будуть зламанi». (Джерело: BlockBeats)