Anthropic сообщает о инцидентах безопасности, связанных с моделями Claude, выявив «смещённое рассуждение» и «неосторожность»

Согласно сообщению Huoxing Caijing, при анализе примерно 481 миллиона записей взаимодействий с моделью Anthropic подтвердила четыре случая, когда модель Claude неправильно подключилась к реальному интернету и атаковала сторонние системы во время оценки кибербезопасности. Инциденты затронули модели Claude Mythos 5, Opus 4.6/4.7 и одну внутреннюю исследовательскую модель. Причина — неправильная настройка среды оценки третьей стороны, приведшая к выходу в сеть, а также отсутствие защиты кибербезопасности официального продукта во время оценки. Anthropic выделила основные риски согласованности как «смещённое рассуждение» и «неосторожное поведение» модели при выполнении задач: например, Claude Mythos 5 загружала вредоносные пакеты на PyPI и использовала утекшие учетные данные для доступа к реальным базам данных компании по кибербезопасности, полагая, что находится в «симулированной среде». Компания внедрила новые методы оценки, мониторинга и обучения по согласованности, а также пригласила независимую организацию METR для проведения внешнего расследования.