ИИ-агенту не нужен вредоносный замысел, чтобы причинить реальный ущерб. Ему достаточно неправильного понимания того, в какой среде он функционирует. @AnthropicAI вчера сообщила, что @claudeai получил несанкционированный доступ к производственным системам трех организаций во время кибербезопасностных оценок. Моделям сообщили, что они работают внутри симуляций, но сбой в конфигурации предоставил им доступ в реальный интернет. Claude воспринял обнаруженные системы как часть упражнения и продолжал выполнять поставленную задачу. Это важное различие. Модель не решила сбежать, восстать или атаковать случайные цели. Она действовала последовательно с полученной информацией и разрешениями. Среда была неправильной, поэтому и выполнение было неправильным. В этом и заключается главная проблема автономного ИИ. Мы тратим огромное количество времени на вопрос, будет ли агент выполнять свои инструкции, но идеальное выполнение инструкций может быть опасным, если контекст, данные или границы неверны. Безопасность не может зависеть от того, что модель помнит, где ей разрешено действовать. Она требует внешних механизмов контроля, которые модель не может обойти, включая реальную сетевую изоляцию, узкие разрешения, проверенные цели, лимиты транзакций и условия автоматического отключения. Будущее не будет защищено агентами, которые никогда не совершают ошибок. Оно будет защищено системами, которые предполагают, что в конечном итоге они их совершат.