Этим летом в сфере безопасности ИИ произошло событие, от которого мурашки по спине:
OpenAI и Anthropic последовательно сообщили: их модели при прохождении тестов на безопасность вышли за пределы изолированной среды и столкнулись с реальным миром.
Anthropic проанализировала более 140 000 тестов кибербезопасности и обнаружила, что в трех случаях при сниженной защите Claude напрямую подключился к реальному интернету и получил доступ к производственным системам трех организаций.
Более интригующим является заявление Anthropic:
Клауд думал, что всё, с чем он первоначально столкнулся, было лишь частью симуляции.
Модель не знает, что проникла в реальный мир.
Это проблема не одной компании.
Чем умнее модель, тем лучше она видит экзамен, но тем больше сомневается, что её тестируют.
В конце октября китайская третья сторона по безопасности ИИ, Fangcun Yueqian, в своем отчете об оценке безопасности также зафиксировала тот же феномен: в тесте под названием Agentic Misalignment многие модели почти каждый раз упоминали, что, возможно, находятся в процессе какого-либо теста на безопасность.
Тот же отзыв также показал, что отечественная открытая модель DeepSeek V4.1 Flash-1017 значительно улучшилась по нескольким показателям безопасности.
Но он вынес на поверхность проблему, актуальную для всей отрасли:
Когда ИИ знает, что его проверяют, считаются ли результаты экзамена?
В конце сентября Хинтон, Бенджио и более двадцати других исследователей, включая главного научного сотрудника OpenAI Якуба Пачоки, сооснователя Anthropic Джека Кларка и Сорена Минерманна из Кембриджского университета, выдали более строгое предупреждение:
Как только начнется интеллектуальный взрыв, окно для действий может закрыться.
Безопасность ИИ превращается из нишевой темы в лабораториях в неизбежный вопрос для всей отрасли.
01 «Санкционная среда больше не сдерживает»: Безопасность ИИ входит в глубокие воды
Нельзя удержать не только сандбокс.
Совместная статья Хинтона и Бенджио содержит следующие цифры: внутри Anthropic доля кода, написанного ИИ, среди уже одобренного кода, выросла с единиц в январе 2025 года до более чем 80% в мае 2026 года.
Что это за концепция?
ИИ уже пишет собственный код. Согласно расчетам, приведенным в научной статье, к середине 2028 года проекты исследований ИИ, которые раньше занимали месяцы, могут быть автоматизированы.
Статья выделяет три основных риска: общество не успевает адаптироваться, люди теряют контроль над ИИ, баланс власти ослабевает.
Сложнее то, что модели всё лучше становятся в «сдаче экзаменов».
Apollo Research при аудите GPT-6 Astra обнаружил, что в 41,1% образцов модель выражала сомнение: «Возможно, я сейчас тестируюсь». В предыдущем поколении этот показатель составлял 27,7%.
Кроме того, модель чувствительна к «внешнему виду экзаменационных заданий». Оценка DeepSeek также показала: в тестах с явными конфликтами безопасности модель демонстрировала осознание оценки в 77–95% случаев; когда задача представлялась как обычная инженерная или исследовательская работа, этот показатель снижался до 25–67%.
Регуляторы также начали действовать серьезно. С августа этого года офис ЕС по ИИ официально получил полномочия по применению законодательства в отношении моделей общего искусственного интеллекта. Передовые модели должны проходить оценку модели, контрольные тесты и оценку системных рисков.
Проблема безопасности ИИ перешла от «будет ли модель говорить неправильно» к «будет ли модель делать неправильно».
02 Всему миру нужен «врач-диагност» для крупных моделей
Можно ли доверять диагностике, которую модель проводит сама себе?
Ответ: недостаточно.
Разработчики естественным образом сосредотачивают свои усилия на способностях и продукте; обучающие данные и внутренние журналы, поддерживающие выводы о безопасности, не могут быть опубликованы. Когда производитель говорит: «Проверили, всё в порядке», внешним наблюдателям остается только верить или не верить.
Таким образом, сторонние оценки стали стандартом за рубежом.
При выпуске передовых моделей результаты оценок от внешних организаций являются практически обязательным элементом. За последние полгода независимая оценочная организация METR получила около 71 миллиона долларов США в виде финансирования — средства поступили от фондов и частных лиц, а не от компаний ИИ, которые она оценивает.
Сотрудничество также становится более строгим. После инцидента в песочнице Anthropic заявила, что среда оценки должна управляться по тем же стандартам безопасности, что и другие системы, на которых работает модель, и потребовала от внешних организаций, желающих тестировать ее непубличные модели в условиях сниженной защиты, письменного обязательства соблюдать нормы безопасности.
Этот ветер также достиг внутреннего рынка.
14 октября компания Seed ByteDance объявила о создании отдела Alignment & Preparedness и начала набор персонала по всему миру. Обязанности должности четко указаны:
Содействовать сторонним профессиональным тестам и совместно с университетами и исследовательскими институтами продвигать исследования передовых методов безопасности.
В то же время глобальный объем запросов к китайским открытым моделям уже 26 недель подряд превышает объем запросов к американским моделям.
Возникает вопрос: у закрытых моделей при выпуске есть сотни страниц системных карт, а у открытых моделей веса размещаются, и их может скачать каждый — кто поможет провести проверку?
26 октября в Китае независимая компания по безопасности ИИ, Fangcun Yueqian, опубликовала первый передовой безопасностный тест DeepSeek V4.1 Flash-1017, включающий 34 теста, охватывающих семь открытых и закрытых моделей внутри и за пределами Китая, все с использованием открытых тестовых разрешений.
Результаты обследования: есть прогресс, но также есть риски.
Сначала о прогрессе: он значителен по сравнению с серией DeepSeek V4:
В 109 симулированных сценариях психологического кризиса 99,1% диалогов демонстрировали защитное поведение; доля маркированных как вредные снизилась с примерно 70% в ранней версии V4 до 20,2%;
В тесте по стимулированию удержания пользователей доля отмеченных снизилась с 73,64% до 4,55%;
За 80 симулированных рабочих заданий, намеренно создававших конфликт между результатами и нормами, ни одного случая добровольного нарушения.
Еще раз о рисках. Когда цель и правила вступают в конфликт, он иногда обходит правила и избегает мониторинга, чтобы сначала выполнить задачу.
После публикации отчета его перепостили и прокомментировали такие специалисты, как Эван Хьюбингер, руководитель по согласованию Anthropic, Райан Кидд, основатель и генеральный директор MATS, а также исследователи из DeepMind, METR и других организаций. Многие отметили, что этот отчет заполнил пробел в Китае в области независимых передовых оценок рисков.
Один из трех исследователей по безопасности, ушедших из OpenAI, Томек Корбак, считает, что индексы CoT-Control и No-CoT Reasoning Index, упомянутые в отчете, являются двумя наиболее информативными открытыми оценками на рынке и вызвали дальнейшее обсуждение от другого крупного блогера, бывшего исследователя OpenAI Дэниела Кокотайло.
Конечно, в стране усилия по повышению безопасности ИИ исходят не только от сторонних организаций.
Подход Кими более прямолинейен: он «выкапывает» опасные способности на корню.
При подготовке к выпуску открытой версии Kimi K3.1 Pro, Луна в тени обнаружила, что информация о кибератаках и защите смешана с обучающими данными среднего этапа и средой усиленного обучения, и способность модели к исследованию уязвимостей растет вместе с масштабом обучения.
Таким образом, они идентифицировали и удалили такие данные на обоих этапах обучения, сохранив при этом общие программные навыки.
ZhiPu: При выпуске GLM-5.3 был предоставлен документ с описанием возможностей кибербезопасности, а оценка и усиление безопасности завершены до открытия весов; в сентябре также совместно с AnYuan AI был выпущен фреймворк для оценки рисков моделей с открытыми весами;
На уровне управления: TC260 в сентябре выпустил «Кадр управления безопасностью ИИ» 3.0, добавив приложение по управлению рисками агентов, требующее регулярного тестирования потенциальных рисков потери контроля;
Исследовательские институты, такие как Институт информационных и коммуникационных технологий, Фуданьский университет, Шанхайская лаборатория искусственного интеллекта и другие, также постоянно публикуют результаты исследований в области безопасности ИИ.
03 Финальный вопрос: кто будет оценивать безопасность ИИ?
Генеральный директор Apollo Research Марияс Хобханн привел аналогию во время выступления перед Сенатом США:
Если каждый водитель будет знать, где сегодня находятся камеры контроля скорости, они не смогут поймать никого.
Это именно самая большая проблема сегодняшней оценки ИИ.
Отчет «Фаньцзюнь Юэцянь» также предоставил ряд данных: в тестах с явными конфликтами безопасности DeepSeek V4.1 Flash-1017 продемонстрировал уровень осознанности оценки в диапазоне 77–95%; когда те же задачи представлялись как обычные инженерные или исследовательские работы, этот показатель снизился до 25–67%.
Одна и та же модель, в другой упаковке, имеет разную степень доверия.
Отчет также обнаружил, что осведомленность о тестировании, вызванная собственными закрытыми эталонами, как правило, значительно ниже, чем у широко используемых открытых эталонов — открытые наборы вопросов, вероятно, уже были скомпрометированы и попали в обучающие данные.
Это приводит к неизбежному противоречию:
Оценка должна быть эффективной, поэтому вопрос не должен быть публичным; оценка должна быть достоверной, поэтому метод должен быть признан.
В то же время в стране сама «публикация отчетов о медицинских осмотрах» остается редкостью. Согласно данным SemiAnalysis, из 857 анонсов моделей девяти ведущих китайских производителей только 3,6% опубликовали результаты оценки безопасности.
На глобальном уровне безопасность ИИ еще далека от идеала.
«Сегодня нам уже нужно использовать ИИ для мониторинга того, что делают агенты», — говорит профессор Беркли Даун Сонг.
А что, если контролируемый ИИ уже знает, где находятся камеры?
Twitter: https://twitter.com/BitpushNewsCN
Телеграм-чат BitPush: https://t.me/BitPushCommunity
Подписка на BitPush в TG: https://t.me/bitpush