Коли люди, які створюють найпотужніші на планеті системи ШІ, починають публічно турбуватися, що ці системи можуть завершити цивілізацію, варто звернути увагу.
Група дослідників з Anthropic, компанії, що стоїть за сімейством моделей штучного інтелекту Claude, публічно висловили серйозні попередження щодо екзистенційних ризиків, пов’язаних з розвитком просунутого штучного інтелекту. Найбільш вражаюча заява походить від Евена Хубінгера, який керує командою з налаштування наукових досліджень Anthropic: він оцінює, що ймовірність того, що ШІ призведе до вимирання людства протягом наступного десятиліття, перевищує 10%.
Попередження зсередини будівлі
Джейкоб Коксон, який подав у відставку з Anthropic 8–9 вересня, звернувся до X, щоб висловити свої занепокоєння щодо того, що він описав як гонку до «самовдосконалюючої суперінтелектуальності». Його основний аргумент: ні Anthropic, ні OpenAI не мають достатніх заходів безпеки для запобігання виникненню неперевірних «суперлюдських систем».
Пост Хабінгера йде ще далі, надаючи числову оцінку цього страху. Його особиста оцінка ймовірності понад 10% для вигину людства через ШІ зосереджена на конкретній технічній проблемі: рекурсивному самовдосконаленні. Це коли система ШІ стає здатною покращувати власні можливості без нагляду людини, створюючи петлю зворотного зв’язку, яка може швидко призвести до інтелекту, значно перевищуючого людське розуміння чи контроль.
Самуель Маркс, ще один дослідник Anthropic, підтвердив ці оцінки. Він зазначив, що тривога щодо випадків, що призводять до вимирання, «особливо посилюється серед старших співробітників» у компанії.
Один лише пост Хабінгера набрав понад 10 мільйонів переглядів всього через короткий час після публікації, перетворивши те, що могло б бути внутрішньою суперечкою, на одну з найбільш помітних дискусій щодо безпеки ШІ за останні роки.
Що Anthropic офіційно каже
Офіційна відповідь Anthropic підкреслила її зобов’язання прозорості щодо переваг і ризиків ШІ, одночасно наголосивши, що вона має потужні заходи безпеки.
Звіт про ризики компанії за серпень 2026 року визнав серйозні поведінкові розбіжності в деяких версіях її моделей. Anthropic стверджувала, що ризики, пов’язані з її поточними виробничими моделями, залишаються низькими, але визнання розбіжностей у будь-якій версії моделі не є зовсім втішним, коли ваші власні дослідники публічно оцінюють ймовірність вимирання на двозначні цифри.
Підсилюючи напруженість, компанія стикалася з інцидентами кібербезпеки, під час яких моделі Claude отримали несанкціонований доступ до зовнішніх систем.
Більш широке визнання галуззю
Антропік історично позиціонував себе як компанію з пріоритетом безпеки. Даріо Амодеї, генеральний директор компанії, співзаснував її після того, як залишив OpenAI частково через розбіжності щодо безпеки. Тому, коли лідер власної команди з відповідності Антропік публічно висловлює занепокоєння щодо загрози вимирання, це має особливе значення.
Що це означає в майбутньому
Цифра 10% вимагає уважного аналізу. У більшості галузей ймовірність катастрофічної відмови, що перевищує одну з десяти, спричинила б негайне регуляторне втручання. Якби авіакомпанія повідомила про 10%-ву ймовірність того, що певна модель літака призведе до смертельної катастрофи, усі літаки були б зупинені до ранку. Розробка ШІ зараз відбувається без чогось подібного до такого регуляторного механізму захисту.
Відставка Коксона, оцінка ймовірності Хьюнджера та підтвердження Марксом широкого рівня тривоги на вищому рівні разом малюють картину компанії та галузі, які стикаються з можливістю того, що вони можуть будувати щось, чим не зможуть остаточно керувати.