AI-агенти можуть завершити еру додатків, перетворивши програмне забезпечення на перевірені системи, створені користувачами
Агенти ШІ можуть зробити виконання коду, написаного незнайомцями, однією з тих поведінок, які наступні покоління зможуть важко сприймати.
Товариство може протягом десятиліть нормалізувати ризик, а потім перекласифікувати його як необережний, коли з’являється безпечніший стандарт.
Пити перед керуванням транспортним засобом, їхати без ременів безпеки, курити в приміщеннях та встановлювати довільні двійкові файли з інтернету — все це належить до одного й того ж сімейства історичних сліпих плям. Загальною ознакою є соціальна дозволеність.
Поведінка зберігається, коли альтернатива є витратною, незручною або технічно недоступною. Коли безпечніший шлях стає дешевим і звичним, старий шлях починає виглядати ірраціональним.
AI-агенти виявляють слабкість у моделі довіри до програмного забезпечення
Сучасне програмне забезпечення все ще працює на умовах, які ми рідко перевіряємо. Розробник, компанія, фонд або анонімний супроводжувач пише код. Канал розповсюдження пакує його. Користувач, підприємство або операційна система запускають його.
Безпека стає багатошаровою спробою керувати наслідками цього рішення.
Дозволи, підпис коду, магазини додатків, виявлення на кінцевих точках, ізоляція в пісочниці, перевірка постачальників та реагування на інциденти існують тому, що основна дія залишається небезпечною: виконання чужих інструкцій на вашому пристрої, всередині вашого акаунту, з доступом до ваших даних.
Ця модель довіри не вдалася в інституційному масштабі. Компрометація SolarWinds продемонструвала, як зловмисний код, введений у процес створення довіреної програми, може поширюватися через звичайні оновлення і досягати урядових агентств, технологічних компаній, телекомунікаційних мереж та інших цілей у різних регіонах.
Операційний урок був структурним, а поверхня атаки — це сама легітимність постачальника.
Після того як процес збирання був скомпрометовано, звичайні ознаки довіри перетворилися на інфраструктуру доставки для атаки.
Той самий шаблон з’явився в XZ Utils backdoor, де CISA попередила у березні 2024 року, що шкідливий код був вбудований у версіях 5.6.0 і 5.6.1 бібліотеки стиснення, яка присутня в усіх дистрибутивах Linux.
Національна база даних про вразливості пізніше описала, як прихований тестовий файл та маніпуляція з процесом збирання призвели до створення модифікованої бібліотеки liblzma, здатної перехоплювати та змінювати взаємодії з даними у пов’язаному програмному забезпеченні.
Ланцюжок постачання програмного забезпечення може бути скомпрометований дуже далеко від користувача, а потім надійти через канали, які здаються звичайними. Ми бачили це в криптовалюті неодноразово з експлойтами DNS та JavaScript npm.
Промислова відповідь полягає у введенні більш суворої процедури. NIST Secure Software Development Framework надає організаціям загальний набір практик для розробки та придбання програмного забезпечення зі зменшеним ризиком.
Фреймворк SLSA забезпечує походження, цілісність і стійкість до підміни в конвеєрі артефактів. Ці контрольні заходи необхідні.
Вони також виявляють обмеження поточної моделі. Підприємства постійно вдосконалюють методи визначення, який зовнішній код заслуговує довіри.
Наступна модель зменшує кількість зовнішнього коду, якому взагалі потрібно довіряти.
Ця зміна змінює соціальне значення програмного забезпечення. Сьогодні код сторонніх розробників розглядається як актив продуктивності з витратами на безпеку.
Завтра це може бути сприйнято як зобов’язання, яке потребує обґрунтування. Стандартний користувацький запит змінюється з «Яку програму мені встановити?» на «Чому мені запускати чужу програму, коли мій агент може створити цю функцію для мене?»
Це справжня лінія розриву. Програмне забезпечення перестає бути переважно продуктом, вибраним із ринку, і стає виводом, що генерується за запитом у середовищі виконання, що керується користувачем.
Програмне забезпечення, створене агентом, перетворює додатки на тимчасові вирази намірів
Напрямок руху видно в кодуючих агентах. OpenAI Codex був представлений як хмарний інженерний агент, здатний виконувати кілька завдань одночасно.
Claude Code від Anthropic — це агентна система програмування, яка аналізує кодову базу, змінює файли, запускає тести та надає зафіксований код.
GitHub’s Copilot coding agent перемістив ту саму схему до робочого процесу GitHub, з асинхронною роботою над питаннями та запитами на витягування.
Google Jules пропонує схожий напрямок: автономний кодовий агент, який засвоює контекст продукту, генерує рішення та надсилає pull requests.
Ці продукти все ще позиціонуються як інструменти для розробників. Ця позиція з часом вузькітиме. Для Codex це вже відбулося. OpenAI минулого місяця представила опцію інтерфейсу, спрямовану на «чати» та виводи, а не на код і термінали.
Більша зміна полягає в тому, що створення програмного забезпечення стає особистою дією делегування. Користувач описує робочий процес. Агент генерує інтерфейс, логіку, інтеграції, тести та шлях виконання.
Артефакт може тривати годину, тиждень або рік. Його можна відновити, створити форк, обмежити, перевірити, відкинути або перебудувати для нового контексту.
Додаток стає менше схожим на постійний об’єкт і більше схожим на місцеву політику, скомпільовану у зручний інтерфейс.
Це має негайні наслідки для довіри. Користувач може все ще спостерігати за застосунками інших людей. Вони можуть перевіряти робочі процеси, шаблони інтерфейсу, схеми даних, запити, автоматизацію та інтеграції сервісів. Однак спостереження може залишатися відокремленим від виконання.
Користувач може скопіювати ідею, а потім попросити персонального агента відновити функцію з нуля в середовищі, що керується власними правилами цього користувача. Цінність переміщується з компільованого артефакту на шаблон.
Розподіл стає менш пов’язаним із доставкою виконуваного коду і більш пов’язаним із публікацією намірів, дизайну, доказів, схем та очікувань щодо API.
Криптовалюта входить до аргументу через верифікацію, а не через брендинг. Агент користувача все ще буде підключатися до зовнішніх сервісів.
Він може викликати платіжні мережі, системи ідентифікації, точки доступу до ринкових даних, шари зберігання, постачальників AI-моделей, ринки обчислень, системи обміну повідомленнями та послуги відповідності. Межа довіри зміщується до цих точок доступу та тверджень, що стосуються їх.
Користувачам знадобляться способи оцінки зовнішніх сервісів за ступенем аудитабельності, походження, рівня безпеки та економічної згідності. Сервіс, створений у перевірному середовищі, отримає іншу оцінку, ніж чорна скриня, що керується корпоративною платформою.
Перевірні точки стають новим рівнем розповсюдження програмного забезпечення
Системи з нульовим знанням надають один шлях до цього рівня ранжування. ZK rollups демонструють, як обчислення може виконуватися поза ланцюгом, тоді як стислий доказ підтверджує дійсність перехідного стану в ланцюзі.
Ту саму концептуальну схему можна поширити за межі масштабування транзакцій. Користувачі можуть потребувати доказів того, що ендпоінт виконав схвалений код, обробив дані за визначених обмежень, зберіг межі конфіденційності або отримав результат із конкретної перевіреної збірки.
Доведення може зберігати внутрішню конфіденційність, одночасно зменшуючи розрив довіри між особистим агентом та зовнішньою залежністю.
Довгостроковий інтерфейс може нагадувати операційний шар, керований агентом. Користувач запитує панель інструментів, інструмент портфеля, дослідницького асистента, систему публікацій, персональний CRM, бухгалтерський робочий процес або монітор безпеки.
Агент збирає його з згенерованого коду та відранжованих endpoint-ів. Код можна перевірити, оскільки його створив агент.
Залежності обмежені, оскільки агент вибрав їх згідно з політикою. Середовище виконання є аудитованим, оскільки користувач вимагав цього.
Користувач продовжує брати участь у мережевій економіці. Контроль наближається до окремої особи.
Кінцевою точкою цього переходу є ринок перевірених функцій, клієнтів, згенерованих агентами, та ранжованих зовнішніх сервісів. Розробники сторонніх компаній все ще існують, але їхня роль змінюється.
Вони публікують протоколи, API, шаблони, докази, моделі, компоненти та еталонні реалізації. Користувачі запускають власні версії.
Підприємства все ще існують, але їхня перевага зміщується від контролю над розподілом до підтвердження надійності. Спільноти з відкритим вихідним кодом все ще існують, але тягар зміщується від прохання користувачів довіряти супроводжувачам до надання агентам достатньо структурованого матеріалу для безпечного відновлення.
Стара програмна економіка продавала готові застосунки. Нова продаватиме вірогідні можливості.
Трекер портфеля стає згенерованим інтерфейсом над точками доступу до ринкових даних, дозволами на гаманець, податковою логікою та правилами звітності. Система публікації стає згенерованим робочим процесом над API ідентифікації, редагування, управління вмістом, аналітики та розповсюдження.
Дослідницький термінал стає поверхнею, створеною з баз даних, викликів моделей, перевірок походження та приватних нотаток. У кожному випадку композицію обробляє агент користувача.
Зовнішній світ надає перевіряємі ресурси. Ця зміна також створює комерційний тест для кожного провайдера інфраструктури: підтвердьте твердження, опублікуйте інтерфейс, розкрийте набір обмежень і дайте агентам з боку користувача вирішити, чи заслуговує сервіс на включення.
Центральний розкол стає приватним програмним суверенітетом проти керованої зручності
Звичайна дискусія представляє майбутнє як локальне проти хмари. Це поділ охоплює частину питання інфраструктури, але не враховує політичну економію.
Приватна система може використовувати хмарні обчислення за умовами, визначеними користувачем. Корпоративна система може працювати локально, одночасно забезпечуючи ідентичність, стимули, дозволи та монетизацію всередині стеку, що контролюється постачальником.
Більш тривала розподіл — це приватний проти корпоративного. Хто визначає додаток?
Хто вирішує, до чого він може отримувати доступ? Хто отримує телеметрію?
Хто встановлює шлях оновлення? Хто може скасувати функцію?
Хто користується залежністю користувача?
Ця роздільність стане більш помітною, коли агентне програмне забезпечення стане достатньо дешевим для звичайних користувачів. Один шлях веде до особистої програмної суверенітетності.
Користувачі управляють агентами, які створюють та перебудовують інструменти, які їм потрібні. Вони вибирають постачальників точок підключення на основі атестацій, вартості, надійності, конфіденційності та відповідності.
Вони можуть залишити інтерфейс, зберігаючи при цьому базовий робочий процес. Вони можуть перейти від одного ендпоінта до іншого.
Вони можуть створювати нового клієнта, коли старий стає скомпрометованим, захопленим або неефективним. Програмний шар стає переносимим, оскільки користувач володіє наміром, а агент може відтворити реалізацію.
Інший шлях веде до управліваних зручностей. Корпоративні платформи запропонують субсидовані додатки, інтегровану ідентичність, кредити, платежі, сховище, доступ до ШІ та стандартні робочі процеси.
Деяка частина цього буде корисною. Деяка частина буде економічно примусовою.
Якщо AI-зумовлена надлишковість призводить до публічних або приватних схем доходу, схожих на UBI, обчислювальних кредитів, розподілу токенів або переваг, пов’язаних із платформою, система розподілу може стати м’яким механізмом прив’язки. Користувачі можуть отримувати доступ до послуг через екосистему, яка також визначає, яке програмне забезпечення вони використовують, як рухаються їхні дані та які агенти можуть діяти від їхнього імені.
Шар UBI — це найбільш чутливий варіант цієї проблеми. Сем Альтман довгий час асоціювався з дискусіями ери ШІ щодо розподілу доходів, а Worldcoin частково позиціонувався як рішення, що базується на доказі особистості та можливості розподілу, подібного до UBI.
Більша ідея полягає в тому, що вона перевищує один проект. Коли економічна підтримка, верифікація особи, доступ до обчислювальних ресурсів і дозволи на програмне забезпечення збігаються, участь може стати умовною, залишаючись на вигляд добровільною.
На практиці користувача може тиснути на використання керованого шару застосунку, хоча теоретично він може відмовитися.
Зручність стає головною битвою. Корпоративний стек виграє користувачів завдяки низькій фрикції.
Він запропонує вдосконалені за замовчуванням налаштування, миттєвий доступ, інтегроване ШІ, сумісність із соціальними мережами, механізми відновлення, покриття вимог щодо відповідності та нагороди. Приватний стек повинен конкурувати на чомусь складнішому: автономністю, яка здається зручною.
Це має надати користувачам підставу приймати більше відповідальності, уникати технічного адміністрування. Персональний агент стає вирішальним, бо здатний поглинути складність, яка раніше робила суверенітет непрактичним.
Наступний тест — чи оберуть користувачі згенеровану довіру замість готової зручності
Перший ризик полягає в тому, що користувачі обмінюють контроль на зручність, не розуміючи вартості. Другий ризик — це те, що такий обмін стає субсидованим, нормалізованим і врешті-решт обов’язковим для доступу до економічного життя.
Корпоративні додатки можуть стати стандартним середовищем для тих, хто приймає пакетні переваги. Додатки, створені приватно, можуть стати стандартом для тих, хто готовий платити, проходити верифікацію, налаштовувати або самостійно зберігати свій програмний шар.
Це створює новий класовий розкол щодо контролю виконання. Питання полягає в тому, чи стискає агентна ШІ цей розкол чи поглиблює його.
Цей перехід буде нерівномірним. Регульовані сектори будуть рухатися повільніше.
Підприємства будуть захищати екосистеми додатків аргументами щодо відповідності. Споживачі продовжуватимуть вибирати зручність за замовчуванням, коли приватна альтернатива виглядає ненадійно.
Зловмисники будуть націлюватися на агентів, промпти, вибір залежностей, ланцюжки постачання моделей та атестації точок доступу. Системи перевірки створять нові вузькі місця, якщо їх захоплять невелика кількість центрів сертифікації, хмарних платформ або постачальників моделей.
Особиста програмна суверенність може стати ще однією брендовою заявою, якщо користувачі не зможуть перевіряти, мігрувати та скасовувати.
Тим не менш, напрямок достатньо ясний, щоб визначити наступний тест. Питання в тому, чи приймуть люди зручність замість суверенітету, коли їхні власні агенти зможуть створити більшу частину того, що їм потрібно.
Сьогодні відповідь у більшості випадків — так, бо альтернатива залишається надто вимогливою. Завтра відповідь стає менш певною.
Користувач, який може створити працюючий додаток, обмежити його дозволи, перевірити його залежності, підключитися лише до ранжованих точок входу та перебудувати його при зміні умов, має реальну альтернативу корпоративному програмному пакету.
Ця альтернатива спочатку здасться дивною. Потім здасться розумною.
Тоді це може стати очікуваною нормою для будь-кого, хто працює з грошима, ідентичністю, даними про здоров’я, приватними повідомленнями, дослідженнями або бізнес-операціями. Робота з непрозорим кодом сторонніх постачальників збережеться, коли зручність переважає над вибором, коли субсидії спотворюють вибір і коли користувачі приймають керовані середовища замість економічного доступу.
Це згасне, де агенти створюють приватну процедуру генерації.
Соціальна переоцінка відбудеться повільно, а потім раптово. Стара звичка залишатиметься знайомою, доки нова норма не стане очевидною.
Коли користувачі зможуть просити своїх агентів створювати додаток, перевіряти шлях виконання та підключатися лише до підтверджених точок доступу, тягар пояснень змінюється. Людина, яка запускає чужий код, повинна мати підставу.
Особа, яка діє через агента, просто використовуватиме безпечний параметр за замовчуванням. Однак їй може знадобитися погодитися на втрату корпоративних стимулів, що надаються тим, хто залишається підключеним до матриці.
Пост Дні додатків підраховані: кінцевий стан програмного забезпечення буде приватним, персоналізованим, перевіреним і створеним агентом ШІ з’явився першим на CryptoSlate.