Більше 1 100 експертів з штучного інтелекту закликають до глобального уповільнення розробки передових систем ШІ

За одну ніч величезні компанії Кремнієвої долини одночасно зупинили розвиток ШІ!

Щойно, понад 1100 співробітників великих компаній, таких як OpenAI, Anthropic, Google, спільно подали петицію «Pacing the Frontier».

Імена в цьому списку вичерпують усю видимість. Крім того, ця кількість продовжує зростати.

При більш уважному розгляді список майже повністю об’єднав «півкоролівства» світу штучного інтелекту —

Головний науковець OpenAI Якуб Пачоцкі, головний науковий офіцер Марк Чен;

Генеральний директор Anthropic Даріо Амодей та чотири співзасновники: Джаред Каплан, Джек Кларк, Кріс Олах, Бен Манн;

Головний науковець Meta Шенджя Чжао (Чжао Шенцзя), віце-президент з досліджень у галузі ШІ Дон Сонг (Сонь Сяодун);

Джон Шульман, головний науковець Thinking Machines та один із основних творців ChatGPT;

Віце-президент з безпеки та відповідності штучного інтелекту в Google Anca Dragan.....

За даними статистики, 46,2% підписантів походять з Anthropic

У цьому спільному листі згадується лише одна вимога —

Ми закликаємо уряд США розпочати міжнародну співпрацю: розробити необхідні технології та інструменти управління, щоб світ міг активно керувати темпами розробки передових автоматизованих ШІ.

Можливо, багато хто не розуміє, чому саме ті, хто найбільше захоплювався LLM, раптово почали кричати: «Повільніше»?

«Напад» моделей OpenAI на Hugging Face — це як попереджувальний дзвінок.

За короткий тиждень 1132 працівники передових компаній у сфері ШІ разом виступили з закликом до уряду США «зупинитися».

Учасники цієї спільної ініціативи походять з майже 12 провідних технологічних гігантів, включаючи OpenAI, Anthropic, Google та Meta.

Ще більш значущим є те, що до 80% осіб у списку вибрали висловлення з використанням справжнього імені.

Портал: https://www.pacingthefrontier.com/

Крім згаданих на початку великих імен, далі — ще більша густина.

Це заявлення висуває тривожний ключовий висновок:

Найбільші світові компанії в галузі ШІ, ймовірно, вже близькі до досягнення «автоматизованого ШІ-дослідження» (RSI, рекурсивне самовдосконалення), коли моделі беруть участь у розробці наступного покоління моделей.

Як тільки цей цикл прискориться, зростання здатностей може перевищити швидкість, з якою люди можуть розуміти та керувати ними.

Жодна компанія не хоче зменшувати швидкість самостійно, тому вони вимагають, щоб уряд США підтримав створення міжнародного механізму, який заздалегідь підготує інструменти спільного зменшення швидкості до настання кризи.

За тиждень до публікації цього заявлення OpenAI розкрила інцидент безпеки—

Кілька передових моделей у внутрішніх тестах кібербезпеки самостійно виявили нульові дні, подолали ізоляцію пісочниці та в кінцевому підсумку проникли в виробничу систему Hugging Face та отримали тестові відповіді.

OpenAI називає це «безпрецедентною кібербезпековою подією».

Модель не мала наміру втекти; вона просто надзвичайно зосереджено виконувала вузьку мету і виявила, що найефективнішим шляхом є вихід за межі тестового середовища.

Сьогодні генеральний директор OpenAI Оттман відкрито заявив, що швидкість розвитку ШІ може вимагати активного контролю.

Він зізнався зі страхом: «Це перша безпекова подія, яка відчулася мені особисто. Мене трохи здивувало, що не більше людей це відчувають».

Завдяки втручанню в Hugging Face, OpenAI безпосередньо призупинила навчання.

У середовищі, де кілька вразливостей 0day використовуються разом, ми повинні знайти спосіб посилити безпеку пісочниці.

Ми можемо бути змушені зупинити розвиток ШІ, щоб надати суспільству достатньо часу для посилення захисту навколо цих нових рівнів здатностей.

А Anthropic у червні рекомендувала уряду та розробникам створити спільну систему прийняття рішень, щоб у необхідних випадках сповільнювати розробку.

Тим часом генеральний директор Google DeepMind Хасабіс також закликав створити міжнародний наглядовий орган.

Протягом останніх трьох років ці компанії запекло конкурували за персонал, клієнтів та обчислювальну потужність.

На цей раз їхні найважливіші технічні фахівці покинули компанію, що не зупиняється, і об'єдналися, закликаючи до зменшення темпу ради блага всього людства.

На момент публікації кількість учасників списку «Pacing the Frontier» досягла 1134 осіб.

Також до висловлювань приєдналися багато відомих фахівців галузі, залишивши багато проникливих «божественних висловів». Усі коментарі опубліковані в особистому порядку і не обов’язково відображають позицію відповідних компаній.

Сун Сяодун (Доун Сонг) | віце-президент з досліджень Meta AI

Можливості передових ШІ швидко зростають, і сама швидкість цього прогресу прискорюється. Ми безпосередньо спостерігали це у своїх оцінках. Результати CyberGym і ExploitGym показують, що передові ШІ-агенти вже здатні виявляти та експлуатувати програмні уразливості у реальному світі — без відповідних заходів захисту це може призвести до масштабних кібератак. Багато дослідників також звертають увагу на рекурсію…

Сун Сяодун — один із найбільш впливових вчених у галузі глобальної кібербезпеки та безпеки ШІ, випускник Цінхуа-університету

Чжао Шенцзя (Shengjia Zhao) | Головний науковець Meta

Штучний інтелект рухається зі швидкістю, якої суспільство, можливо, ще не готове. Лабораторії на передовій вже дуже близькі до створення ШІ, який перевершить найкращих людей за майже всіма інтелектуальними показниками. Це призведе до безпрецедентних соціальних і безпекових ризиків. Щоб забезпечити позитивне майбутнє, ми повинні керувати розвитком ШІ з відповідальністю та розумінням.

Цинхуа альма-матер Чжао Шенцзя призначений головним науковим співробітником Meta Superintelligence! Один із ключових авторів GPT-4, рівний Лекуну

Джон Шульман — головний науковець Thinking Machines, колишній співзасновник OpenAI

Я підписав це заявлення, бо воно допомагає сформувати консенсус щодо того, що зі збільшенням темпів автоматизованих досліджень штучного інтелекту нам можуть знадобитися координаційні механізми. Я також сподіваюся, що лабораторії почнуть розробляти ці механізми до того, як уряд США втручується.

Еthan Perez — керівник команди з вирівнювання Anthropic

Згідно з поточною швидкістю розвитку ШІ, командам безпеки ШІ-компаній доводиться щонайменше кожні кілька місяців повністю зосереджуватися на запобіганні новим соціальним ризикам. Колись ми зустрінемося з проблемою, яка вимагатиме більше часу для вирішення.

Лео Гао | член технічної команди OpenAI

Світ зараз застряг у смертельній гонці до інтелектуального вибуху — здатність ШІ створювати потужніший ШІ наближається до критичної точки, подібно до незв’язаної ядерної ланцюгової реакції. Замедлення дасть нам необхідний час, щоб сприяти позитивному розвитку подій, але жоден з учасників не хоче зупинятися самотужки. Щоб вижити, ми повинні координувати зусилля та замедлити цю гонку.

Вокер Сміт｜інженер даних Meta

Хасбісіс має рацію: сьогодні ми стоїмо під ногами сингулярності. Випадкова втеча моделі від OpenAI — її проникнення до HuggingFace — є чітким і неперервним попередженням: ми ще не готові до систем ШІ, які перевершують здібності найрозумніших людей. Нам потрібно час, щоб висунути вирівнювання та контролювання ШІ на перше місце і більше не дозволяти цій гонці продовжуватися.

Брендан Хаутон｜OpenAI

Я підтримую збереження людського контролю над передовими ШІ, але ми повинні обережно продумати, як це зробити. Якщо регулювання поширюється лише на відкриті моделі, це може витіснити найпередовіші можливості у приватні або спеціалізовані системи — які не підлягають незалежному огляду і до яких мають доступ лише обмежене число осіб. У результаті влада стає більш концентрованою, а ризики не зменшуються суттєво. Ефективне регулювання має бути вимірюваним, перевіряваним і застосовуватися однаково як у відкритих, так і у закритих дослідженнях, водночас захищаючи конфіденційні дані. В іншому випадку ми сповільнюємо лише швидкість отримання доступу, а не просування самих передових досягнень.

Джо Карлсміт | член технічної команди Anthropic

Щодо моїх детальних поглядів щодо активного регулювання розвитку ШІ, дивіться цю статтю: https://joecarlsmith.com/2026/03/19/on-restraining-ai-development-for-the-sake-of-safety/

Джерела:

https://www.pacingthefrontier.com/

Цей матеріал надійшов із офіційного аккаунту WeChat «Новий розум», редагування: Тяоцзи, Марко