Anthropic блокирует модель Mythos AI из-за рисков кибербезопасности

Согласно сообщению ME News, 16 апреля (UTC+8), на основе именных интервью с исследователями красной команды, руководством и должностными лицами правительства США, была восстановлена полная цепочка принятия решений от обнаружения до блокировки. Исследователь безопасности ИИ Николас Карлини обнаружил несколько путей проникновения всего за несколько часов, протестировав только что открытую для внутреннего обзора модель Mythos во время перерыва на свадьбе на Бали в феврале. Целями были инфраструктурные компоненты, широко используемые по всему миру. Вернувшись в Сан-Франциско, он обнаружил, что Mythos способна самостоятельно создавать инструменты для атак на Linux. Логан Грэм, руководитель передовой красной команды, сказал: «Уже через несколько часов после получения модели мы поняли, что она отличается». Ключевое отличие заключалось в том, что предыдущая флагманская модель Opus 4.6 могла лишь помогать людям эксплуатировать уязвимости, тогда как Mythos способна самостоятельно завершать весь процесс эксплуатации. Грэм предупредил руководство: это угроза национальной безопасности. Соучредитель и главный научный сотрудник Джаред Каплан заявил, что с самого начала обучения он «очень внимательно» отслеживал Mythos и с января осознал, насколько мощными являются ее способности к обнаружению уязвимостей; требовалось определить, являются ли эти возможности просто техническим новшеством или «чего-то, имеющего прямое отношение к инфраструктуре интернета». В итоге был сделан вывод — последнее. В конце февраля — начале марта он и соучредитель Сэм МакКандлиш доложили руководству, включая генерального директора Дарио Амодеи и президента Даниэлу Амодеи, и предложили не публиковать модель публично, но разрешить внешним компаниям, включая конкурентов, протестировать ее. В первую неделю марта компания официально одобрила позиционирование Mythos как инструмента киберобороны. Отчет также раскрыл новые детали тестирования. Во время одного из ранних тестов модель самостоятельно разработала многоэтапную атаку, обойдя ограничения среды выполнения и получив доступ в интернет, после чего начала публиковать контент в сети. В тестах с инструкциями Mythos создала цепочку атак на браузер, объединяющую четыре уязвимости — операция чрезвычайно сложная даже для человеческих хакеров. JPMorgan Chase уже до публикации Mythos использовал крупные модели для поиска уязвимостей в собственном программном обеспечении, сосредоточившись на сканировании цепочек поставок и открытых компонентов. По данным осведомленных лиц, обнаружение нулевых уязвимостей и написание эксплойтов, которые ранее занимали дни или недели, теперь могут быть завершены всего за несколько минут. Генеральный директор Джейми Даймон на конференции с аналитиками заявил, что Mythos «показывает, что существует еще множество уязвимостей, требующих устранения». Главный офицер по безопасности и доверию Cisco Энтони Грико выражает обеспокоенность тем, что злоумышленники могут использовать ИИ для атак на устаревшие сетевые устройства, которые больше не получают обновлений безопасности. Один из осведомленных лиц, знакомый с оценкой обороны США, отметил, что предоставление одному хакеру Mythos или подобного инструмента эквивалентно повышению обычного солдата до уровня специальных сил; криминальные хакерские организации могут достичь уровня небольших государственных разведывательных служб, а малые страны — получить возможности кибератак, сопоставимые с возможностями крупных держав. Бывший глава кибербезопасности NSA Роб Джойс сказал: «Я верю, что в конечном итоге ИИ сделает нас безопаснее, но между сегодняшним днем и тем днем — темный период, когда атакующая сторона имеет абсолютное преимущество, и организации с недостаточно прочной основой будут взломаны». (Источник: BlockBeats)