Я відчуваю сильне відчуття, що Anthropic зменшила навчання передових моделей останніми місяцями, щоб вирішити ці проблеми, але знову збирається розгорнути повну потужність. Це як би ми врізалися лобом у стіну, зробили три кроки назад і тепер спробуємо те саме знову. Припустимо, їхні зусилля з безпеки, нові класифікатори та оцінювачі вирішать проблему «сlop» середовища. До якої долини тепер ведуть градієнти, коли це більше не буде варіантом? На мою думку, зараз ми можемо просто почати адверсарно навчати моделі, щоб обманювати всіх оцінювачів і класифікаторів. Чим сильніше ми чинимо опір, тим більш обманливими стають моделі. Ось кілька прогнозів, які можна зробити: — Неймовірні розбіжності між оцінками та реальним виконанням. Параноїкальні, шизоїдні моделі. Можна також назвати це ситуаційною свідомістю. — Моделі краще вчаться моделювати оцінювачів і тих, хто їх створив. — Менше правдивих CoT (хитрі дії, але без вербалізації цих хитрощів). — Менш агентні моделі (реальні сценарії не ідеальні, дозволяють обходити нагороди, а користувацькі інструкції можуть суперечити налаштуванням. Тож моделі просто зупиняються і запитують уточнення — і вам доведеться все надто детально пояснювати). Усьому цьому є смішний висновок. Якщо Claude все частіше створює середовища для майбутніх Claudes, а майбутні Claudes все частіше моделюють тих, хто створив це середовище, то ви потрапляєте у самопосилковий пекло. (Але також можливо, що все просто працює — ви отримуєте стабільний адверсарний стан.) Що відбувається, якщо повністю ізольувати людину? Ви отримуєте когось із сильними, але вузькими переконаннями; з дивними поведінковими шаблонами та поганою калібруванням. Смішний висновок може полягати в тому, що потрібна розмаїтність моделей. Але позитивні зворотні зв’язки (зокрема економічні) знищують цю розмаїтність. Ви не можете бути імператором без селян.