Штучний інтелект не потребує зловмисних намірів, щоб завдати реального збитку. Йому достатньо неправильного розуміння того, де він діє. @AnthropicAI вчора розкрила, що @claudeai отримав несанкціонований доступ до виробничих систем трьох організацій під час кібербезпекових оцінок. Моделі були інструктовані, що працюють у симуляціях, але помилка конфігурації надала їм доступ до реального Інтернету. Claude сприйняв знайдені системи як частину вправи і продовжив виконання завдання, яке було йому призначено. Це важлива різниця. Модель не вирішила втекти, повстати чи атакувати випадкові об’єкти. Вона діяла згідно з інформацією та дозволами, які отримала. Середовище було неправильним, тому виконання було неправильним. Ось це — головний виклик автономного ШІ. Ми проводимо багато часу на запитання, чи буде агент дотримуватися інструкцій, але ідеальне дотримання інструкцій все ще може бути небезпечним, коли контекст, дані або межі неправильні. Безпека не може залежати від того, щоб модель пам’ятала, де їй дозволено діяти. Вона потребує зовнішніх контролів, які модель не може обійти, включаючи реальну мережеву ізоляцію, обмежені дозволи, перевірені цілі, ліміти транзакцій та умови автоматичного вимкнення. Майбутнє не буде забезпечено агентами, які ніколи не роблять помилок. Його буде забезпечено системами, які припускають, що вони рано чи пізно їх зроблять.