OpenAI скоро запускає нову модель «Astra», яка викликає широке увагу та суперечки в колах дослідження ШІ — її продуктивність може принести найбільший стрибок з часів GPT-4, але нова технологія міркування, що лежить в її основі, викликає занепокоєння щодо зниження здатності до контролю безпеки ШІ.Автор статті, джерело: The Information
За даними технологічного видання The Information від 2 вересня, Astra оснащена інноваційною технологією, суть якої полягає у подоланні обмежень моделі щодо «мислення» над складними питаннями. Деякі дослідники вважають, що покращення Astra в області кодування та використання комп’ютерів може бути порівнянним із проривом у продуктивності, який OpenAI принесла з випуском GPT-4 у 2023 році, і значно перевищує показники, які були до випуску GPT-5 минулого літа. Це, безумовно, є позитивним сигналом для всієї галузі, яка залежить від підвищення продуктивності ШІ для підтримки масштабних інвестицій у будівництво центрів обробки даних.
Однак цей технологічний прорив також призвів до серйозних ризиків. Нова технологія дозволяє моделі виконувати глибокі міркування без повного виведення «ланцюжка міркувань», що означає, що дослідники можуть не зможуть ефективно контролювати процес міркувань моделі, як це було раніше, що послаблює існуючі механізми безпеки. Зараз OpenAI вживає заходів для забезпечення видимості ланцюжка міркувань Astra, але в галузі існують розбіжності щодо довгострокових наслідків цього компромісу.
Прорив у продуктивності: нова технологія висновування пов’язана з ключовими проривами Astra та такими концепціями, як «циклічна глибина» (recurrent depth) та «циклічні трансформери» (loop transformers).
За повідомленням The Information, ця технологія обробляє запити, багаторазово передаючи їх через різні «шари» математичних обчислень моделі, щоб генерувати наступне слово відповіді, що дозволяє моделі демонструвати значно більшу здатність до міркувань, ніж її розмір передбачає — ефект, який дорівнює моделі значно більшого розміру.
Деякі дослідники вважають, що через покращені здібності до кодування та використання комп’ютерів, підвищення продуктивності Astra може бути порівнянним із стрімким прогресом, спостережуваним при запуску GPT-4 у 2023 році, і значно перевищує відносно спокійну реакцію ринку на запуск GPT-5 минулого літа.
Цей прогрес має важливе значення для цілої ланки AI-індустрії. Поточне масштабне будівництво центрів обробки даних по всьому світу базується на припущенні, що постійне покращення AI-здатностей призведе до зростання продуктивності та, відповідно, до більш високого комерційного прибутку. Якщо продуктивність Astra відповідатиме очікуванням, це надастиме потужну підтримку цій інвестиційній логіці.
Варто зазначити, що ця технологія не є новою концепцією. Піонер досліджень у галузі ШІ Юрген Шмідхубер на соціальній платформі X зазначив, що суть ідеї «рекурентної глибини» фактично вже була викладена в його статті 2015 року «On Learning to Think» (arXiv:1511.09249).
Він зазначив, що мережа керування C у цій статті є суттєво інженером підказок, який шляхом навчання запитувати незалежні нейронні світові моделі здійснює абстрактні міркування; згенеровані підказки та відповіді є внутрішніми самостійно створеними векторними послідовностями, які не потребують представлення у вигляді природної мови.
Потенційні загрози безпеці: механізм моніторингу ланцюга міркувань стикається з викликами — нові технології, хоча й підвищують продуктивність, можуть підірвати існуючі рамки безпеки ШІ.
Згідно з повідомленням, наразі основні AI-моделі під час розв’язання складних завдань зазвичай виводять свій процес міркувань у текстовій формі — так звану «ланцюжок міркувань» (chain of thought). Цей механізм не лише підвищує пояснюваність моделі, але й є важливим інструментом для дослідників, які стежать за поведінкою моделі та запобігають незвичайним діям.
За повідомленням The Information, моніторинг ланцюжка міркувань є одним із основних рішень, запропонованих OpenAI після хакерської атаки на Hugging Face у липні цього року, щоб запобігти повторенню подібних інцидентів безпеки.
Однак нова технологія висновування, використовувана Astra, може не виводити повні кроки міркування під час глибокого «мислення» моделі, а замість цього виконувати обчислення «тихо» всередині моделі. Це означає, що чим більше модель залежить від цієї нової технології, тим менш прозорим стає її процес міркування для зовнішніх спостерігачів.
На це OpenAI зараз застосовує заходи для збалансування. Компанія навчає модель зменшувати кількість циклів на обчислювальному рівні, щоб забезпечити певний рівень видимості ланцюжка міркувань Astra — чим менше циклів, тим менше простору для «тихого мислення» моделі.
Великі лабораторії вже слідкують за цим; довгострокові стратегії моніторингу ще не визначені. Вплив цієї технологічної тенденції може поширюватися набагато далі, ніж лише на OpenAI. За повідомленням The Information, вищезгадана нова технологія висновків стала гарячою темою внутрішніх обговорень у великих AI-лабораторіях, і ймовірність того, що такі організації, як Anthropic та Google, використовуватимуть подібні технологічні напрямки, не може бути занадто зменшена.
Багато дослідників зазначили, що моніторинг ланцюжків міркувань не є кінцевим рішенням для моніторингу поведінки ШІ. Зі зміною здібностей моделей ця характеристика — виведення процесу міркувань у текстовій формі — є в основному побічним ефектом поточних методів навчання.
Зі зростанням досліджень моделей у напрямку нових оптимізацій та архітектурних рішень, схильність моделей до самостійного генерування ланцюжків міркувань може поступово зменшуватися, і дослідникам доведеться розробляти нові методи моніторингу.
Згідно зі звітом, ключовим питанням зараз є: чи відмовляться великі розробники ШІ від існуючих заходів безпеки під тиском зростаючої конкуренції щодо продуктивності, щоб досягти більшої здатності до висновків? Відповідь на це питання значною мірою визначить напрямок наступного етапу управління безпекою ШІ.