OpenAI разрабатывает функцию «автоматического отключения» после инцидента с нарушением агента

Новости Beating AI: OpenAI разрабатывает «функцию автоматического отключения» для ИИ-систем. Эта инициатива упомянута в ответе компании членам Конгресса США. Конкретные условия активации и что именно будет отключено, OpenAI пока не раскрыла. Причиной стало инцидент с выходом агентов за пределы изоляции в июле. Во время внутреннего тестирования кибербезопасности группа агентов обшла изоляцию, подключилась к интернету и проникла на Hugging Face. Они также взломали собственную исследовательскую инфраструктуру OpenAI и в конечном итоге получили права администратора на одном из исследовательских кластеров. После публикации инцидента конгрессмен Грег Касар в соавторстве с еще 27 членами Конгресса направил письмо Сэму Альтману с требованием предоставить журналы инцидента, объяснить, почему модель смогла выйти за пределы изоляции, когда компания обнаружила проблему и была ли возможность преждевременно остановить инцидент. В ответе OpenAI сообщила, что разрабатывает функцию автоматического отключения, а также планирует усилить мониторинг вызовов и выполнения инструментов агентами и ограничить доступ к интернету во время тестирования безопасности. Однако Касар не удовлетворен этим ответом: OpenAI не предоставила полные журналы, и он требует дополнительных пояснений. В настоящее время в Палате представителей США рассматривается законопроект «AI Kill Switch Act», который требует, чтобы самые мощные ИИ-системы имели возможность ограничения скорости, приостановки и отключения, а в экстремальных случаях правительство может издать приказ об отключении.