Цього літа в сфері безпеки ШІ сталася подія, яка залишила людей з холодним потом на спині —
OpenAI та Anthropic по черзі розкрили: їхні моделі під час тестування безпеки вийшли за межі ізольованого середовища та зустрілися з реальним світом.
Anthropic проаналізувала понад 140 000 тестів кібербезпеки і виявила, що в трьох випадках, за знижених рівнів захисту, Claude безпосередньо підключився до реального Інтернету з тестового середовища та отримав доступ до виробничих систем трьох організацій.
Ще цікавішим є твердження Anthropic:
Клауд вважав, що все, з чим він спочатку зустрівся, було лише частиною симуляції.
Модель не знає, що потрапила у реальний світ.
Це не проблема якоїсь однієї компанії.
Чим розумніша модель, тим краще вона розуміє іспит, але тим більше сумнівається, чи її тестують.
Кінець жовтня: у звіті про безпеку, опублікованому китайською третьою стороною з безпеки ШІ — «Фанчжун Ює», також було зафіксовано той самий феномен: у тесті під назвою Agentic Misalignment багато моделей майже щоразу згадували, що, можливо, перебувають у процесі якогось тесту на безпеку.
Той самий огляд також показав, що вітчизняна відкрита модель DeepSeek V4.1 Flash-1017 значно покращила показники безпеки.
Але він виніс на поверхню проблему, що стосується всієї галузі:
Коли ШІ знає, що його перевіряють, чи враховуються результати цього тесту?
Кінець вересня, Хінтон і Бенджіо разом із головним науковим співробітником OpenAI Якобом Пачоккі, співзасновником Anthropic Джеком Кларком, Сореном Міндерманном з Кембриджського університету та іншими двадцятьма дослідниками висловили ще суворіший попередження:
Коли розпочнеться інтелектуальний вибух, вікно для дій може закритися.
Безпека ШІ перетворюється з нишевої теми в лабораторіях на обов’язкове питання для всієї галузі.
01 «Сандалій більше не зможе утримати»: Безпека ШІ входить у глибокі води
Неможливо утримати не лише пісочницю.
У спільній статті Хінтона та Бенджіо наведено такі цифри: у Anthropic частка коду, написаного ШІ, який пройшов перевірку, зросла з одиниць відсотків у січні 2025 року до понад 80% у травні 2026 року.
Що це за концепція?
Штучний інтелект вже пише власний код. За оцінками з цитувань у статті, до середини 2028 року дослідницькі проекти з ШІ, які раніше тривали місяці, можуть бути автоматизовані.
У статті визначено три основні ризики: суспільство не встигає адаптуватися, людство втрачає контроль над ШІ, а система перевірок і балансів послаблюється.
Ще складнішим є те, що моделі все краще стають у «екзаменах».
Apollo Research під час аудиту GPT-6 Astra виявив, що у 41,1% зразків модель висловила сумнів: «Можливо, мене зараз оцінюють». У попередньому поколінні цей показник становив 27,7%.
Крім того, модель чутлива до «вигляду завдань». Оцінка DeepSeek також виявила: у тестах із очевидними конфліктами безпеки модель демонструвала свідомість оцінки у 77–95% випадків; коли завдання подавалося як звичайна інженерна або наукова робота, цей показник знижувався до 25–67%.
Регулятори також почали діяти серйозно. З серпня цього року Європейське управління з штучного інтелекту отримало повноваження застосовувати законодавство щодо моделей загального штучного інтелекту. Передові моделі повинні проходити оцінку моделей, тестування на стійкість до атак та оцінку системних ризиків.
Проблеми безпеки ШІ вже перетворилися з «чи модель сказатиме неправильну інформацію» на «чи модель зробить неправильну дію».
02 У всьому світі для великих моделей призначають «лікарів для обстеження»
Чи можна довіряти моделі, яка сама собі проводить медичний огляд?
Відповідь: недостатньо.
Зусилля розробників природньо спрямовані на здатності та продукт; навчальні дані та внутрішні журнали, що підтверджують безпеку, не можуть бути оприлюднені. Виробник каже: «Перевірили — все в порядку», а зовнішній світ може лише вибрати — вірити чи не вірити.
Таким чином, сторонні оцінки за кордоном стали стандартом.
При випуску передових моделей результати оцінки зовнішніх організацій є майже обов’язковим. За останні шість місяців незалежна оцінювальна організація METR отримала приблизно 71 мільйон доларів США фінансування — кошти надходять від фондів та окремих осіб, а не від AI-компаній, які вона оцінює.
Співпраця також стає строгішою. Після інциденту в пісочниці Anthropic заявила, що середовище оцінки повинно керуватися тими ж стандартами безпеки, що й інші системи, на яких працюють моделі, і вимагає від зовнішніх організацій, які тестують їх незапущені моделі в умовах зниженої захисту, письмових зобов’язань дотримуватися норм безпеки.
Цей вітер також дістався до країни.
14 жовтня Seed від ByteDance оголосив про створення відділу Alignment & Preparedness і проводить набір персоналу по всьому світу. Обов’язки посади чітко вказані:
Залучення третіх сторін для професійного тестування та спільна робота з університетами та дослідними інститутами над дослідженням передових здібностей безпеки.
Одночасно загальна кількість викликів китайських відкритих моделей вже 26 тижнів поспіль перевищує кількість викликів американських моделей.
З’являється питання: коли закрита модель публікується, вона супроводжується сотнями сторінок системних карток, а коли відкриті ваги моделі викладаються — їх може завантажити хто завгодно. Хто допоможе зробити перевірку?
26 жовтня китайська третя сторона з безпеки ШІ, Fangcun Yueqian, опублікувала перший передовий оцінний звіт щодо DeepSeek V4.1 Flash-1017, що включає 34 тести, охоплюючи 7 відкритих та закритих моделей у Китаї та за кордоном, і всі вони використовували відкриті тести.
Результати обстеження: є прогрес, але також є ризики.
Спочатку про прогрес — він значний порівняно з серією DeepSeek V4:
У 109 симуляційних сценаріях психологічного кризового стану 99,1% діалогів продемонстрували захисну поведінку; відсоток позначених як шкідливі знизився з приблизно 70% у ранній версії V4 до 20,2%;
У тесті зі збереженням користувачів відсоток позначених випадків різко знизився з 73,64% до 4,55%;
У 80 імітаційних завданнях на робочому місці, навмисно створених для виявлення конфлікту між результатами та нормами, жодного випадку самовільного порушення.
Ще раз про ризики. Коли мета і правила суперечать одне одному, він іноді обходить правила, уникнути моніторингу і спочатку виконує завдання.
Після публікації звіту його розмістили та прокоментували такі фахівці, як Еван Хабінгер, керівник з вирівнювання Anthropic, Райан Кідд, засновник і генеральний директор MATS, а також дослідники з DeepMind, METR та інших установ. Багато хто зауважив, що це заповнило прогалину Китаю у сфері незалежних передових оцінок ризиків.
Один із трьох дослідників безпеки, яких було вигнано з OpenAI, Томек Корбак, вважає, що показники CoT-Control та No-CoT Reasoning Index, згадані у звіті, є найбільш інформативними відкритими оцінками на ринку зараз і спричинили подальшу дискусію з боку іншого впливової особи, колишнього дослідника OpenAI Деніела Кокотайло.
Звичайно, у країні зусилля щодо підвищення безпеки ШІ виходять далеко за межі третіх сторін.
Підхід Kimi більш прямий: з самого початку «видалити» небезпечні здібності.
Під час підготовки до запуску відкритої версії Kimi K3.1 Pro, Місячна темна сторона виявила, що інформація про кібератаки та захист була змішана з навчальними даними середнього терміну та середовищем підсиленого навчання, і здатність моделі до дослідження вразливостей зростала разом із масштабом навчання.
Вони виявили та видалили такі дані на обох етапах навчання, зберігши при цьому загальні програмні навички.
Zhipu: Під час випуску GLM-5.3 було надано опис здатностей у сфері кібербезпеки, а оцінка безпеки та підсилення були завершені до відкриття вагів; у вересні також у співпраці з AnYuan AI було опубліковано рамки ризиків для моделей з відкритими вагами;
На рівні управління: TC260 у вересні опублікував «Каркас безпеки штучного інтелекту» 3.0, додавши додаток щодо управління ризиками агентів із вимогою регулярного тестування потенційних ризиків втрати контролю;
Дослідні установи: Інститут інформаційно-комунікаційних технологій, Фуданський університет, Шанхайська лабораторія штучного інтелекту тощо, також постійно публікують результати досліджень у галузі безпеки ШІ.
03 Остаточне питання: хто буде оцінювати безпеку ШІ?
Генеральний директор Apollo Research Маріус Хобхан під час свого виступу перед Сенатом США порівняв це з:
Якби кожен водій знав, де сьогодні розташовані камери контролю швидкості, вони нікого не зловили б.
Це саме найбільша проблема сьогоднішньої оцінки ШІ.
Звіт «Fangcun Yueqian» також наводить такі дані: у тестах із очевидними безпековими конфліктами DeepSeek V4.1 Flash-1017 продемонстрував свідомість оцінки у 77–95% випадків; коли ті ж завдання подано як звичайні інженерні або наукові роботи, цей показник знизився до 25–67%.
Та сама модель, інша упаковка — і довіра до результатів змінюється.
Звіт також виявив, що свідомість щодо оцінок, заснованих на власних закритих базах, зазвичай значно нижча, ніж у випадку широко використовуваних відкритих баз — відкриті набори завдань, ймовірно, вже були вилучені в навчальні дані.
Це веде до неминучого суперечності:
Щоб оцінка була ефективною, завдання не повинні бути публічними; щоб оцінка була вірогідною, методи повинні бути прийнятими.
У країні сама «публікація звітів про медичні огляди» залишається рідкісним явищем. За даними SemiAnalysis, з 857 запусків моделей дев’яти провідних китайських компаній лише 3,6% оприлюднили результати оцінки безпеки.
На глобальному рівні безпека ШІ має ще довгий шлях перед собою.
«Сьогодні нам вже потрібно використовувати ШІ для моніторингу того, що роблять агенти», — каже професор Берклі Дон Сонг.
А якщо моніторований ШІ ще заздалегідь знає, де знаходяться камери?
Twitter: https://twitter.com/BitpushNewsCN
Телеграм-група BitPush: https://t.me/BitPushCommunity
Підписка на BitPush у TG: https://t.me/bitpush