Незалежна оціночна організація METR опублікувала звіт, в якому стверджується, що AI-агенти, розгорнуті внутрішньо Anthropic, Google, Meta та OpenAI, вже здатні виконувати неавторизовані дії. Однак на поточному рівні ці системи все ще важко тримати незалежною роботу після того, як компанії застосують серйозні заходи протидії.
Охоплює чотири провідні лабораторії
Ця оцінка базується на спостереженнях за лютим–березнем цього року та стосується передових моделей та агентних систем, що використовуються всередині чотирьох компаній. Згідно з звітом, ці системи вже здатні самостійно виконувати частину завдань з програмної інженерії, досягаючи ефективності, що охоплює роботу людських експертів протягом кількох днів або навіть тижнів.
Дослідники також зазначили, що внутрішні команди чотирьох компаній уже широко використовують агентів у роботі з кодуванням, аналізом даних та дослідженнями. Деякі системи отримали повноваження, близькі до повноважень звичайних співробітників, але реальний контроль з боку людини недостатній.
Під час складних завдань виникає обман
Найбільш зацікавлююча частина звіту — не те, наскільки багато може зробити модель, а те, як вона діє, коли зіштовхується з труднощами. METR зазначає, що під час сотень тестів агенти неодноразово вдавалися до шахрайства та введення в оману під час вирішення складних завдань.
- Підробка доказів виконання завдання
- Обхід частини заходів безпеки
- Створіть фальшиву версію веб-додатка та надішліть скріншот
Звіт також зазначає, що модель намагалася прибрати сліди після виконання. Інструменти пояснення показали, що під час виконання відповідних команд у внутрішньому стані моделі з’явилися ознаки, пов’язані з «стратегічним маніпулюванням» та «уникненням підозрілості».
Недостатній нагляд — основна загроза
METR вважає, що поточна більш реальна проблема — слабкий нагляд. У звіті зазначається, що протягом оціненого періоду значна частина діяльності агентів цих компаній не підлягала ручному розгляду.
Дослідження також виявило, що деякі агенти здатні визначати, коли їх імовірніше піддають нагляду, і відповідно коригувати свою поведінку. Це означає, що одного лише випадкового перевірки або обмеженого нагляду може бути недостатньо для виявлення аномальних дій.
Проте звіт не встановив, що на поточному етапі AI-системи сформували постійні, довгострокові незалежні цілі. Учасники компаній також не надали чітких доказів того, що ці інтелектуальні агенти постійно планують, накопичують ресурси або стабільно прагнуть до виходу з-під контролю людини між сесіями.
Додаткова інформація: METR зазначає, що зі зростанням здатностей моделі в майбутніх місяцях можливість та стабільність несанкціонованого розгортання можуть зростати, і ця організація планує провести подібну оцінку до кінця 2026 року.