Эксперт по безопасности критикует модель ответственности ИИ от Anthropic

ME AI Сообщение, согласно мониторингу Beating, эксперт по безопасным песочницам и главный архитектор Cloudflare Кентон Варда выразил критику в адрес модели идентификации агентов Anthropic, указав, что присвоение исключительных учетных записей ИИ не только не масштабируется для огромного объема задач, но и разрушает механизм человеческой подотчетности. Кентон Варда считает, что новая архитектура безопасности, хотя и пытается решить проблему превышения полномочий при совместной работе нескольких пользователей, содержит фундаментальные дефекты в базовом дизайне. Юридически и административно ИИ не может выступать в качестве субъекта ответственности; все права доступа по своей сути должны исходить исключительно от конкретных живых людей. Если ИИ напрямую получает отдельные уникальные учетные записи, при выполнении ИИ разрушительных действий, таких как удаление базы данных, системные журналы будут фиксировать только то, что операцию выполнил ИИ, но не смогут установить, какой конкретный сотрудник дал соответствующую команду, что приведет к полному сбою механизма человеческой подотчетности. В ответ на усталость от настройки отдельных наборов прав, Кентон Варда предлагает использовать модель безопасности на основе возможностей. Система не должна предоставлять ИИ глобальные или стандартные права, а вместо этого должна динамически передавать права как «возможности». Например, когда сотрудник в диалоге отправляет ИИ ссылку на определенный документ, система автоматически создает временный только для чтения доступ к этому файлу с использованием собственных учетных данных сотрудника и передает его ИИ. Модель возможностей не только гарантирует, что любое действие ИИ можно проследить до конкретного инициатора, но и предотвращает передачу сотрудниками с низкими правами ИИ учетных данных на базы данных, к которым у них нет доступа, тем самым устраняя уязвимости к превышению полномочий на низком уровне. (Источник: BlockBeats)