Anthropic попереджає, що ШІ може вступити в фазу самоприскорення в найближчий час

Огляд Beating AI: Anthropic у оновленій заявці на IPO від 2 листопада попереджає, що ШІ може швидко подолати ключовий поріг, пов’язаний із рекурсивним самовдосконаленням (RSI), що призведе до значного прискорення темпів розробки ШІ. Раніше вже траплялися випадки, коли значне прискорення прогресу в розробці не було вчасно зафіксоване, а виявлене лише після його настання. Зараз Claude вже бере участь у написанні коду, запуску експериментів та обробці навчальних даних, допомагаючи розробляти потужніші моделі наступного покоління. Нові моделі, у свою чергу, знову прискорюють подальші дослідження, формуючи цикл постійного прискорення. Згідно з політикою безпеки Anthropic, досягнення цього ключового порогу може відбуватися двома способами: 1. ШІ здатний виконувати всю роботу цілої команди дослідників ШІ за подібну вартість; 2. або прискорювати прогрес у технологіях ШІ щонайменше вдвічі, скорочуючи час, необхідний для досягнення прогресу, який раніше вимагав двох років, до одного року. З огляду на те, що ШІ все глибше втручається у власну розробку, здатності моделей можуть зростати швидше, ніж оновлюються оцінки безпеки, дослідження зв’язування та захисні заходи. Anthropic наразі не вважає жодну із існуючих моделей досягнутою цього рівня; це попередження базується переважно на внутрішніх оцінках та прогнозах щодо майбутніх моделей. Зараз розглядається можливість внесення змін до політики безпеки, щоб забезпечити, що ключові процеси розробки залишаються під наглядом та контролем людини.