Anthropic попереджає про наближення здатності рекурсивного самовдосконалення ШІ

icon币界网
Поділитися
AI summary iconКороткий зміст
Anthropic у своєму оновленому файлі S-1A повідомила, що близька до досягнення рекурсивного самовдосконалення (RSI) у моделях ШІ. Подолання індикатора RSI може спричинити швидкий розвиток ШІ. Компанія попередила, що розвиток, спричинений ШІ, може випереджати протоколи безпеки. У рамках своєї Політики відповідального масштабування Anthropic уважно стежить за цією проблемою. Рівні підтримки та опору у зростанні здібностей ШІ зараз є ключовим фокусом. Людський контроль залишатиметься необхідним у найближчій перспективі. Жодна модель ще не досягла порогу RSI.
CoinDesk повідомляє:

Хоча у понеділок зовнішній інтерес був зосереджений на останніх фінансових даних, розкритих Anthropic у переглянутому файлі S-1A — доходи стрімко зростають, а витрати також збільшуються — ця лабораторія ШІ також викинула ще одну «маленьку бомбу» в деталях цього документа.

Цей документ, схоже, попереджає, що компанія наближається до створення моделі з здатністю рекурсивного самовдосконалення (recursive self-improvement, RSI).

RSI означає, що ШІ стає достатньо сильним у навчанні себе, що викликає драматичне прискорення можливостей ШІ. Для прихильників апокаліпсису ШІ RSI означає катастрофу без повернення: ШІ будує себе настільки потужним, що виходить з-під контролю людини і може не турбуватися про шкоду, завдану під час досягнення своїх цілей.

Для оптимістів у сфері ШІ RSI або якась надійна версія ШІ, що використовує саму себе для покращення, символізує обітницю цієї технології: вона стане інструментом, що принесе неймовірну продуктивність, наукові відкриття тощо.

Anthropic вважає, що RSI є одночасно обітницею та ризиком. У документі S-1 компанія зазначає, що використовує ШІ у дослідженнях та розробках, але одночасно попереджає: «Використання ШІ для створення потужнішого ШІ може призвести до значних безпекових ризиків, особливо якщо це значно прискорює прогрес. Це одна з областей, що охоплюються нашою Політикою відповідального розширення, яка описує наші плани з моніторингу та зменшення ризиків у міру наближення до так званого «рекурсивного самовдосконалення».

Коли термін RSI набув популярності на початку цього року, багато людей вважали його просто модним словом або, на кращий випадок, надто складною, недоступною, невизначеною або неперевіреною метою.

Але в понеділок Anthropic додала до розділу «Фактори ризику» наступне твердження: 1) компанія вже використовувала ШІ для розробки кількох нових моделей, але тоді не усвідомлювала стрімкого зростання їхніх можливостей; 2) компанія може швидко досягти своєї внутрішньої визначення RSI (надалі виділено жирним як у оригіналі):

Крім того, ми все частіше використовуємо AI-системи для прискорення власних досліджень, що може призвести до того, що швидкість зростання здібностей наших моделей перевищить швидкість розробки, перевірки та впровадження відповідних заходів безпеки, відповідності та безпеки. Тому ми могли не виявити, а також можемо не виявити у майбутньому значне прискорення темпів досліджень, доки воно не відбудеться.

Наприклад, наші внутрішні оцінки та очікування щодо майбутніх моделей, а не щодо поточних моделей, свідчать про те, що ми можемо наближатися до визначення «значного прискорення прогресу, забезпеченого ШІ» згідно з Політикою відповідального розширення. Ми ще не визнали жодну з поточних моделей перевищенням цього порогу і продовжуємо оцінювати відповідні базові дані.

Однак Anthropic також зазначила у документі, що жодна з її моделей на даний момент не перетнула цей поріг RSI, і компанія зобов’язується продовжувати залучення людей до процесу розробки в передбачуваному майбутньому. Компанія заявила: «Ми вважаємо, що без значущого людського нагляду чи розуміння безпечне використання Claude для повністю автономного проектування та побудови послідовних поколінь передових моделей неможливе, навіть якщо й коли це стане технічно можливим. Тому ми розглядаємо оновлення Політики відповідальної експансії, щоб зберегти людський контроль над розробкою передових моделей Anthropic».

Скептики можуть зазначити, що S-1 є як інформаційним документом, так і маркетинговим матеріалом, а твердження про те, що хтось близький до моделі, здатної самостійно створювати себе, може належати до останнього.

Проте, несумнівно, що здібності Claude, особливо в програмуванні, математиці та кібербезпеці, цього року зазнали стрімкого прогресу. Якщо Anthropic вважає, що ймовірність RSI дуже близька, ми, мабуть, повинні вірити цьому і діяти відповідно — можливо, навіть здійснити відповідне управління.

Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.