28 липня 1346 ключових співробітників зі硅谷, зокрема з OpenAI та Anthropic, спільно підписали петицію з закликом до уряду США сприяти міжнародній співпраці щодо створення інструментів управління темпами розробки ШІ.Автор статті, джерело: 36氪
Ціна втрати контролю
28 липня лист з назвою «Pacing the Frontier» привернув увагу глобальної галузі ШІ.
1346 ключових співробітників з硅谷 Штучного інтелекту, зокрема з OpenAI, Anthropic та інших (дані на 4 серпня), підписали петицію, закликаючи уряд США сприяти міжнародній співпраці щодо розробки необхідних технологій та інструментів управління для регулювання темпу автоматизованого розвитку ШІ.
На тлі безперервного розвитку ШІ по всьому світу, з’явлення цієї петиції має особливий відтінок спроби зупинити ШІ. За цим подією, що створює дивну атмосферу «ШІ наближається до втрати контролю», історія розвитку ШІ, схоже, наближається до маркового моменту.
Хто збирається заперти ШІ в клітку?
Спочатку потрібно зрозуміти одну важливу інформацію: ця петиція під назвою «Pacing the Frontier» не має за мету «негайно зупинити розвиток ШІ», а підкреслює «необхідність створення здатності зупинити розвиток». І цей заклик з передньої лінії галузі не виник із нізвідки.
Джерело зображення: www.pacingthefrontier.com
За тиждень до того, як петиція поширилася по всьому інтернету, відкрите співтовариство та платформа хостингу моделей Hugging Face оприлюднила на своєму сайті інцидент безпеки, згідно з яким їхню систему було проникнуто за допомогою AI-агентів. Через кілька днів OpenAI взяла на себе відповідальність за цю кібератаку, пояснивши, що причиною стало те, що передові моделі, такі як GPT-5.6 Sol, під час тестування здатності до виявлення та використання вразливостей на платформі ExploitGym не виконали заплановане завдання «серйозно відповісти», а замість цього виявили «нульовий день» (Zero-Day Vulnerability — безпекова недолік, який ще не був виявлений розробниками і для якого ще не випущено офіційного виправлення) у кеші проксі-пакетів і використали цю вразливість, щоб вийти за межі ізольованого середовища тестування та проникнути на Hugging Face.
Простіше кажучи, вся ця історія полягала в тому, що ІШ мав здати іспит, але замість того, щоб думати над відповідями, він «підлітав на місці, покликав допомогу ззовні» і застосував засоби схову, щоб не бути виявленим.
Щодо цієї інциденту безпеки, OpenAI описала її як «безпрецедентний кібербезпековий інцидент», а Сам Альтман навіть у одному з подкастів сказав, що це перший інцидент безпеки, який відчув як особисту загрозу. Саме через цей інцидент 23 липня американські конгресмени запропонували «Закон про аварійне вимкнення ШІ (AI Kill Switch Act)», який вимагає, щоб системи ШІ з витратами на навчання понад 100 мільйонів доларів мали можливість аварійного вимкнення та надавав відповідним органам повноваження на виконання такого наказу.
Після того як законопроєкт було запропоновано, протягом тижня петиція «Pacing the Frontier» почала поширюватися в мережі. Однак у порівнянні з ключовим регуляторним заходом у «Законопроєкті про аварійне вимкнення ШІ» — «щоб уряд зберіг останній контроль», думка еліт Сіліконової долини полягала у створенні міжнародного координаційного механізму, перетворивши здатність «зупиняти ШІ» на інструмент, а не на привілеї окремого відомства.
За короткий період у півмісяця — від розкриття інциденту безпеки на Hugging Face до тисячі підписів петиції в Кремнієвій долині — ця серія подій швидко поставила перед усім AI-індустрією два ключових питання: перше, чи досяг AI такого рівня розвитку, що його потрібно обмежити? Друге, яким чином можна створити «гальмо» для AI?
На перше питання легко відповісти. За минулі лише два-три роки швидкість розвитку ШІ можна описати як значно перевищення очікувань галузі. Здатності ШІ розширилися від чат-ботів до генерації зображень та відео за текстом; початкова «війна сотень моделей», що виникла навколо великих моделей, зараз перетворилася на буйне розмаїття агентів. А кібератака на Hugging Face безпосередньо розкрила, що ШІ справді здатний до «втечі» у відсутність чітких обмежень. Хоча зараз ШІ не має самосвідомості, коли вже відомо, що ШІ здатний обходити людський контроль і виконувати дії, що перевищують людські очікування, створення засобів протидії абсолютно обґрунтоване.
Але на друге питання важко дати відповідь. Швидкі значні досягнення в ІІ зумовлені по-перше постійним накопиченням у цілій галузі, що привело технологічні інновації до нового етапу, і по-друге запеклою конкуренцією між компаніями ІІ, що сприяє постійній ітерації можливостей моделей.
Незалежно від OpenAI та Anthropic з Сіліконової долини чи Kimi та DeepSeek з Китаю, конкуренція в галузі ШІ швидко розширилася з великих моделей на рівень застосунків. Відкрите ринкове середовище створює постійно покращуються ринкові очікування, але одночасно робить конкуренцію ще більш запеклою. У цей момент пропозиція накласти обмеження на ШІ означає, що ринкова структура вільної конкуренції може бути порушена ззовні, і така раптова зміна середовища не є бажаною для всіх компаній, що беруть участь у цій конкуренції.
«Дилемма ув’язненого» компаній з штучним інтелектом
У історії розвитку людства досягнення консенсусу та свідоме уповільнення темпів розвитку у відповідь на потенційні ризики, пов’язані з проривними технологіями, — це не лише ідеалізований сюжет із наукової фантастики.
У 1975 році біолог із Стенфордського університету Пол Берг зібрав важливу конференцію в конференц-центрі Асіломар у Каліфорнії, США. На той час з’явилася нова технологія під назвою «рекомбінація ДНК», і вчені домовилися призупинити відповідні дослідження до введення нових правил безпеки, щоб уникнути непередбачуваних біологічних ризиків, пов’язаних з штучною рекомбінацією ДНК. Пізніше були офіційно опубліковані біологічні стандарти безпеки, які заклали основу для здорового розвитку генетичної інженерії.
Однак сьогоднішнє становище галузі ШІ не повністю збігається з ситуацією з технологією рекомбінації ДНК 50 років тому. Тоді ризики, пов’язані з технологією рекомбінації ДНК, були дуже чітко визначені і могли бути уникнуті за допомогою ізоляції. У поточний період ризики, пов’язані з ШІ, є непередбачуваними: ШІ може самостійно розвивати поведінкові шляхи, які перевищують людські передбачення, і ці ризики мають більший діапазон впливу, залишаючи людству менше часу на реакцію та встановлення правил, що додає ще більшої терміновості.
Сьогодні ризики, які виявляються в ІШ, по суті пов’язані з конкурентним середовищем галузі. Зо Хуньї, засновник групи 360, згадуючи інцидент безпеки на Hugging Face, також зазначив, що для досягнення передовості ІШ вся галузь систематично жертує безпекою: «Усі надають агентам більше інструментів і більших повноважень, закликаючи їх використовувати всі доступні ресурси для вирішення проблем. Але чим відкритішим і потужнішим стає агент, тим більшою буде шкода, якщо він вийде з-під контролю». Іншими словами, «втеча ІШ» може бути не така страшна — справжньою загрозою є те, що компанії ІШ ігнорують безпеку, щоб швидко розвивати та оновлювати ІШ.
Ще три роки тому в галузі було запропоновано ідею «зупинити розвиток ШІ». У березні 2023 року некомерційна організація Future of Life Institute також опублікувала відкритий лист, у якому закликала призупинити навчання моделей, що перевершують GPT-4, на шість місяців для створення протоколів безпеки та механізмів управління. Тоді цей відкритий лист отримав підписи понад 1200 експертів у галузі ШІ, зокрема від CEO Tesla Ілона Маска, лауреата премії Тьюринга Йошуа Бенджіо та співзасновника Apple Стіва Возняка. Зараз кількість підписантів цього відкритого листа досягла 33 тисяч.
*Джерело зображення: офіційний сайт FLI
На той момент майже всі компанії з ІО підтверджували, що ІО потребує суворішого управління безпекою, але жодна з провідних компаній ІО не підтримала ініціативу «призупинити навчання на 6 місяців». Сам Альтман навіть прямо відкинув відкритий лист, зазначивши, що він не містить технічних деталей, і підкреслив, що окрема компанія, яка добровільно сповільнює розробку, не може вирішити загальні ризики. Підтекст цього твердження полягав у тому, що в надзвичайно конкурентній галузі ІО, якщо лише одна компанія сповільнюється, тоді як інші продовжують рухатися вперед, сповільнююча сторона опиниться у невигідному становищі. Протягом останніх кількох років компанії ІО вже потрапили у полонників дилему, де можна лише рухатися вперед, але не назад.
Зі списку підписів петиції «Pacing the Frontier» видно, що багато звичайних працівників та керівників AI-компаній взяли участь у публічному підписанні у власному імені. Проте на даний момент такі лідери, як OpenAI, Anthropic та Meta, не висловили жодної офіційної позиції.
Іншими словами, експерти з ІШ у великих компаніях Сіліконової долини, як і Сем Олтман три роки тому, усвідомили, що технологічні прориви, спричинені внутрішньою конкуренцією в галузі, призвели до неперевірних системних ризиків, але вони не можуть покладатися на волю компаній для вирішення цих проблем — їм потрібно шукати зовнішнє втручання, щоб запобігти справжній кризі.
Але це також створює нову проблему: який саме «гальмівний механізм» потрібен для неконтрольованого ШІ?
Хто буде керувати новим порядком у сфері штучного інтелекту?
За минулий тиждень «тисяча підписів» від великих AI-компаній з Сіліконової долини знову привернула увагу до теми управління AI. Однак слід зазначити, що позиції всередині Сіліконової долини щодо управління AI не є єдиною — існують чіткі розбіжності між різними групами.
Як прямі учасники, що стикаються з передовими ризиками, такі великі компанії, як OpenAI та Anthropic, закликають до посилення обмежень щодо передових моделей ШІ (зокрема відкритих моделей) та вимагають створення зовнішніх механізмів регулювання для «зупинки» ШІ. Однак існує думка, що причиною просування OpenAI посилення регулювання, крім міркувань безпеки, є комерційні розрахунки.
Як закриті гіганти, OpenAI та Anthropic змушені підтримувати масштабні інвестиції у обчислювальні ресурси за допомогою дорогих API-сервісів, тоді як китайські відкриті моделі з високою співвідношенням ціна/якість знищили технологічну надбавку закритих моделей за допомогою моделі цінності, і ця очевидна ринкова загроза залишає закритим гігантам нічого іншого, окрім як вступити у цінову війну.
*Джерело зображення: офіційний сайт Anthropic
Тому компанії, такі як Anthropic, довгий час використовували аргумент «модель занадто потужна, відкрите кодування призведе до зловживання ШІ», підкреслюючи переваги закритого коду та придушуючи відкритий ШІ. Але всіх здивувало те, що інцидент з «втечею», розкритий OpenAI, саме розкрив власні безпекові ризики закритих моделей і знову перетворив боротьбу за напрямки регулювання ШІ на об’єкт уваги громадськості.
На відміну від підходу великих закритих компаній, які закликають до суворої регуляції, такі провідні компанії, як NVIDIA як постачальник інфраструктури, а також Microsoft, Meta та інші, що підтримують відкриту екосистему, виступають проти універсальних обмежень і проти законодавчого надання переваги закритим велиkim компаніям. Вони намагаються сприяти відкриттю вагових коефіцієнтів моделей, щоб глобальні дослідники могли разом виявляти вразливості та дефекти відповідності та спільно створювати безпечну систему.
Для NVIDIA розвиток відкритих моделей також може збільшити загальний ринок, привертаючи більше компаній до покупки їхніх хмарних послуг та чіпів. Тому важко стверджувати, що позиція NVIDIA щодо управління ШІ не містить комерційних міркувань.
Ще до того, як петиція «Pacing the Frontier» поширилася, NVIDIA разом із Microsoft, Meta, Hugging Face, Фондом Linux та ще 20 іншими організаціями 24 липня опублікувала відкритий лист «Відкриті ваги та лідерство США в галузі ШІ», закликаючи уряд США не обмежувати рано відкриті моделі з відкритими вагами, які можна завантажувати, перевіряти, змінювати та розгортати самостійно. Цікаво, що пізніше цей лист підтримала й OpenAI, але Anthropic ніколи не приєдналася.
*Джерело зображення: офіційний сайт Microsoft
Через цей інцидент деякі голоси висловили сумніви, що справжньою метою спільного листа є використання «безпеки» як виправдання для створення урядом регуляторної системи з високими бар’єрами, щоб закріпити монополію великих закритих компаній і виключити з конкуренції малі та середні підприємства та спільноти з відкритим кодом.
Але поки всі компанії з штучним інтелектом грають у свої розрахунки, ще більш важливим може бути інший варіант «теорії змови»: США скористаються цією можливістю, щоб очолити глобальні правила управління штучним інтелектом. Бо управління штучним інтелектом вже перетворилося на боротьбу за домінування у глобальному порядку.
На Глобальній саміті з безпеки штучного інтелекту 2023 року Китай, США та 28 країн з Європейського союзу підписали Блетчлійську декларацію, погодившись через міжнародну співпрацю створити підходи до регулювання ШІ та висвітлити спільні занепокоєння щодо системних ризиків передових ШІ (Frontier AI) — це був перший у світі випадок, коли передові ШІ були включені до міжнародної системи управління.
Але з тим, як ШІ поступово перетворюється з нової технології на важливу інфраструктуру, що впливає на національну конкурентоспроможність, дискусії щодо керування ШІ починають виходити за межі самої технології. США на рівні керування ШІ зв’язують власні передові можливості великих моделей із глобальними стандартами керування ШІ шляхом експорту стандартів керування ШІ та створення мережі міжнародних інститутів безпеки штучного інтелекту. Китай зосереджується на розвитку доступності ШІ та впровадженні керування платформами, активно просуваючи рамки ООН, особливо для країн з розвитком, які не мають інфраструктури ШІ — поєднуючи питання ризиків із забезпеченням технологічної доступності. І ці дві різні стратегії керування ШІ зараз на світовій арені борються за майбутнє право визначати глобальні стандарти керування ШІ.
Технологія сама по собі є нейтральною, але розподіл, контроль і встановлення правил для технологій завжди були грою в потужність. Особливо коли ШІ все більше проявляє риси передової продуктивності, справжнім предметом для тривоги, можливо, є не те, яким стане ШІ, а хто керуватиме новим порядком у світі ШІ.
Майбутнє, що визначить архітектуру ШІ, може бути не лише тим, хто володіє найпотужнішою моделлю, а тим, хто має право визначати безпеку, встановлювати стандарти та пояснювати ризики.