Хоча у понеділок зовнішній інтерес був зосереджений на останніх фінансових даних, розкритих Anthropic у переглянутому файлі S-1A — доходи стрімко зростають, а витрати також збільшуються — ця лабораторія ШІ також викинула ще одну «маленьку бомбу» в деталях цього документа.
Цей документ, схоже, попереджає, що компанія наближається до створення моделі з здатністю рекурсивного самовдосконалення (recursive self-improvement, RSI).
RSI означає, що ШІ стає достатньо сильним у навчанні себе, що викликає драматичне прискорення можливостей ШІ. Для прихильників апокаліпсису ШІ RSI означає катастрофу без повернення: ШІ будує себе настільки потужним, що виходить з-під контролю людини і може не турбуватися про шкоду, завдану під час досягнення своїх цілей.
Для оптимістів у сфері ШІ RSI або якась надійна версія ШІ, що використовує саму себе для покращення, символізує обітницю цієї технології: вона стане інструментом, що принесе неймовірну продуктивність, наукові відкриття тощо.
Anthropic вважає, що RSI є одночасно обітницею та ризиком. У документі S-1 компанія зазначає, що використовує ШІ у дослідженнях та розробках, але одночасно попереджає: «Використання ШІ для створення потужнішого ШІ може призвести до значних безпекових ризиків, особливо якщо це значно прискорює прогрес. Це одна з областей, що охоплюються нашою Політикою відповідального розширення, яка описує наші плани з моніторингу та зменшення ризиків у міру наближення до так званого «рекурсивного самовдосконалення».
Коли термін RSI набув популярності на початку цього року, багато людей вважали його просто модним словом або, на кращий випадок, надто складною, недоступною, невизначеною або неперевіреною метою.
Але в понеділок Anthropic додала до розділу «Фактори ризику» наступне твердження: 1) компанія вже використовувала ШІ для розробки кількох нових моделей, але тоді не усвідомлювала стрімкого зростання їхніх можливостей; 2) компанія може швидко досягти своєї внутрішньої визначення RSI (надалі виділено жирним як у оригіналі):
Крім того, ми все частіше використовуємо AI-системи для прискорення власних досліджень, що може призвести до того, що швидкість зростання здібностей наших моделей перевищить швидкість розробки, перевірки та впровадження відповідних заходів безпеки, відповідності та безпеки. Тому ми могли не виявити, а також можемо не виявити у майбутньому значне прискорення темпів досліджень, доки воно не відбудеться.
Наприклад, наші внутрішні оцінки та очікування щодо майбутніх моделей, а не щодо поточних моделей, свідчать про те, що ми можемо наближатися до визначення «значного прискорення прогресу, забезпеченого ШІ» згідно з Політикою відповідального розширення. Ми ще не визнали жодну з поточних моделей перевищенням цього порогу і продовжуємо оцінювати відповідні базові дані.
Однак Anthropic також зазначила у документі, що жодна з її моделей на даний момент не перетнула цей поріг RSI, і компанія зобов’язується продовжувати залучення людей до процесу розробки в передбачуваному майбутньому. Компанія заявила: «Ми вважаємо, що без значущого людського нагляду чи розуміння безпечне використання Claude для повністю автономного проектування та побудови послідовних поколінь передових моделей неможливе, навіть якщо й коли це стане технічно можливим. Тому ми розглядаємо оновлення Політики відповідальної експансії, щоб зберегти людський контроль над розробкою передових моделей Anthropic».
Скептики можуть зазначити, що S-1 є як інформаційним документом, так і маркетинговим матеріалом, а твердження про те, що хтось близький до моделі, здатної самостійно створювати себе, може належати до останнього.
Проте, несумнівно, що здібності Claude, особливо в програмуванні, математиці та кібербезпеці, цього року зазнали стрімкого прогресу. Якщо Anthropic вважає, що ймовірність RSI дуже близька, ми, мабуть, повинні вірити цьому і діяти відповідно — можливо, навіть здійснити відповідне управління.
