AI-агенты могут положить конец эре приложений, превратив программное обеспечение в проверенные системы, созданные пользователями
Агенты ИИ могут сделать выполнение кода, написанного незнакомцами, одним из тех поведений, которые последующие поколения будут с трудом осознавать.
Общество может в течение десятилетий считать риск нормальным, а затем переклассифицировать его как безрассудный, как только появляется более безопасный вариант по умолчанию.
Пить перед вождением, ездить без ремней безопасности, курить indoors и устанавливать произвольные двоичные файлы из интернета — всё это относится к одной и той же категории исторических слепых зон. Общая черта — социальное разрешение.
Поведение сохраняется, когда альтернатива дорогостоящая, неудобная или технически недоступна. Как только более безопасный путь становится дешевым и привычным, старый путь начинает казаться иррациональным.
AI-агенты раскрывают слабости в модели доверия к программному обеспечению
Современное программное обеспечение по-прежнему работает на выгодной сделке, которую мы редко проверяем. Разработчик, компания, фонд или анонимный сопровождающий пишет код. Канал распространения упаковывает его. Пользователь, предприятие или операционная система запускает его.
Безопасность становится многоуровневой попыткой управлять последствиями этого решения.
Разрешения, подпись кода, прикладные магазины, обнаружение конечных точек, песочницы, проверка поставщиков и реагирование на инциденты существуют потому, что основное действие остается опасным: выполнение чужих инструкций на вашем устройстве, внутри вашего аккаунта, с доступом к вашим данным.
Эта модель доверия не сработала на институциональном уровне. Компрометация SolarWinds продемонстрировала, как вредоносный код, встроенный в процесс сборки доверенного программного обеспечения, может распространяться через обычные обновления и достигать правительственных агентств, технологических компаний, телекоммуникационных сетей и других целей в нескольких регионах.
Операционный урок был структурным, а поверхность атаки — сама легитимность поставщика.
Как только процесс сборки был скомпрометирован, обычные признаки доверия стали инфраструктурой доставки для атаки.
Та же схема наблюдалась в бэкдоре XZ Utils, где CISA предупредила в марте 2024 года, что в версиях 5.6.0 и 5.6.1 библиотеки сжатия, присутствующей во всех дистрибутивах Linux, был встроен вредоносный код.
Национальная база данных уязвимостей позже описала, как маскируемый тестовый файл и манипуляции с процессом сборки привели к созданию изменённой библиотеки liblzma, способной перехватывать и изменять взаимодействия с данными в связанных программах.
Цепочка поставок программного обеспечения может быть скомпрометирована далеко на ранних этапах, прежде чем добраться до пользователя через каналы, которые кажутся обычными. Мы уже видели это в криптовалюте неоднократно с эксплойтами DNS и JavaScript npm.
Отраслевой ответ заключается в внедрении более строгого процесса. NIST Secure Software Development Framework предоставляет организациям общий набор практик для разработки и приобретения программного обеспечения с меньшим риском.
Фреймворк SLSA обеспечивает происхождение, целостность и устойчивость к подделкам в конвейере артефактов. Эти меры необходимы.
Они также раскрывают ограничения текущей модели. Компании продолжают совершенствовать методы определения, какому внешнему коду можно доверять.
Следующая модель снижает объем внешнего кода, которому вообще необходимо доверять.
Это изменение меняет социальное значение программного обеспечения. Сегодня код сторонних разработчиков рассматривается как актив для повышения производительности с дополнительными затратами на безопасность.
Завтра это может рассматриваться как обязательство, требующее обоснования. Стандартный вопрос пользователя сменится с «Какое приложение мне установить?» на «Почему мне запускать чужое приложение, если мой агент может создать эту функцию для меня?»
Это настоящая линия разлома. Программное обеспечение перестаёт быть в первую очередь продуктом, выбираемым с рынка, и становится результатом, генерируемым по запросу в среде выполнения, контролируемой пользователем.
Программное обеспечение, созданное агентом, превращает приложения в временные выражения намерений
Направление движения видно в кодирующих агентах. OpenAI Codex был представлен как облачный агент программной инженерии, способный выполнять несколько задач одновременно.
Claude Code от Anthropic — это агентная система программирования, которая анализирует кодовую базу, изменяет файлы, запускает тесты и предоставляет закоммиченный код.
Кодировщик Copilot от GitHub переместил ту же закономерность в рабочий процесс GitHub, выполняя асинхронную работу по задачам и запросам на вытягивание.
Google Jules предлагает аналогичное направление: автономный кодирующий агент, который анализирует контекст продукта, генерирует решения и отправляет запросы на слияние.
Эти продукты по-прежнему позиционируются как инструменты для разработчиков. Эта позиция со временем сузится. Для Codex это уже произошло. OpenAI представила в прошлом месяце опцию интерфейса, сосредоточенную на «чатах» и результатах, а не на коде и терминалах.
Большее изменение заключается в том, что создание программного обеспечения становится личным актом делегирования. Пользователь описывает рабочий процесс. Агент генерирует интерфейс, логику, интеграции, тесты и путь выполнения.
Артефакт может сохраняться в течение часа, недели или года. Его можно восстановить, форкнуть, ограничить, аудировать, отбросить или перестроить для нового контекста.
Приложение становится всё меньше похожим на постоянный объект и всё больше — на локальную политику, скомпилированную в удобный интерфейс.
Это имеет непосредственные последствия для доверия. Пользователь может по-прежнему наблюдать за приложениями других людей. Он может изучать рабочие процессы, шаблоны интерфейса, схемы данных, запросы, автоматизации и интеграции сервисов. Однако наблюдение может оставаться отделенным от выполнения.
Пользователь может скопировать идею, а затем попросить персонального агента воссоздать функцию с нуля в среде, управляемой собственными правилами этого пользователя. Ценность перемещается от скомпилированного артефакта к шаблону.
Распределение становится менее связано с доставкой исполняемого кода и больше с публикацией намерений, дизайна, доказательств, схем и ожиданий по API.
Криптовалюта входит в аргумент через верификацию, а не через брендирование. Агент пользователя по-прежнему будет подключаться к внешним сервисам.
Это может включать платежные шлюзы, системы идентификации, точки доступа к рыночным данным, слои хранения, провайдеров моделей ИИ, вычислительные рынки, системы обмена сообщениями и службы соблюдения нормативных требований. Граница доверия смещается к этим точкам доступа и заявлениям, сделанным о них.
Пользователям понадобятся способы ранжирования внешних сервисов по уровням аудитабельности, происхождения, безопасности и экономической согласованности. Сервис, созданный в проверяемой среде, будет оцениваться иначе, чем черный ящик, контролируемый корпоративной платформой.
Проверяемые конечные точки становятся новым уровнем распространения программного обеспечения
Системы с нулевым разглашением предоставляют один путь в этот уровень ранжирования. ZK rollups демонстрируют, как вычисления могут выполняться офф-чейн, а краткое доказательство подтверждает корректность результирующего перехода состояния на чейне.
Та же концептуальная схема может распространяться за пределы масштабирования транзакций. Пользователи могут требовать доказательств того, что конечная точка выполнила одобренный код, обработала данные в рамках заданных ограничений, сохранила границы конфиденциальности или сгенерировала результат на основе конкретной проверенной сборки.
Доказательство может сохранять внутреннюю конфиденциальность, сокращая разрыв доверия между личным агентом и внешней зависимостью.
Долгосрочный интерфейс может напоминать операционный слой, управляемый агентом. Пользователь запрашивает панель управления, инструмент портфеля, исследовательского помощника, систему публикации, личную CRM, бухгалтерский рабочий процесс или монитор безопасности.
Агент собирает его из сгенерированного кода и ранжированных конечных точек. Код можно проверить, поскольку его создал агент.
Зависимости ограничены, поскольку агент выбрал их в соответствии с политикой. Среда выполнения подлежит аудиту, поскольку пользователь указал это как требование.
Пользователь по-прежнему участвует в сетевой экономике. Контроль приближается к индивиду.
Конечной точкой этого перехода является рынок проверяемых функций, клиентов, генерируемых агентами, и ранжированных внешних сервисов. Разработчики сторонних компаний по-прежнему существуют, но их роль изменяется.
Они публикуют протоколы, API, шаблоны, доказательства, модели, компоненты и эталонные реализации. Пользователи запускают свои собственные версии.
Предприятия всё ещё существуют, но их преимущество смещается с контроля над распределением на подтверждение надёжности. Сообщества с открытым исходным кодом всё ещё существуют, но бремя перемещается от необходимости просить пользователей доверять сопровождающим к предоставлению агентам достаточного объёма структурированного материала для безопасного восстановления.
Старая программная экономика продавала готовые приложения. Новая продает достоверные возможности.
Трекер портфеля становится сгенерированным интерфейсом над конечными точками рыночных данных, разрешениями кошелька, логикой налогообложения и правилами отчетности. Система публикации становится сгенерированным рабочим процессом над API идентификации, редактирования, управления контентом, аналитики и распространения.
Исследовательский терминал становится поверхностью, генерируемой из баз данных, вызовов моделей, проверок происхождения и частных заметок. В каждом случае композицию обрабатывает агент пользователя.
Внешний мир предоставляет проверяемые ресурсы. Это изменение также создает коммерческий тест для каждого провайдера инфраструктуры: подтвердите утверждение, опубликуйте интерфейс, раскройте набор ограничений и предоставьте агентам на стороне пользователя решить, заслуживает ли сервис включения.
Центральный разрыв становится частным программным суверенитетом против управляемого удобства
Типичные дебаты представляют будущее как локальное против облачного. Это разделение охватывает часть вопроса инфраструктуры, но упускает политическую экономику.
Частная система может использовать облачные вычисления с учетом ограничений, заданных пользователем. Корпоративная система может работать локально, при этом сохраняя идентичность, стимулы, разрешения и монетизацию внутри стека, контролируемого поставщиком.
Более устойчивое разделение — между частным и корпоративным. Кто определяет приложение?
Кто решает, к чему он может получить доступ? Кто получает телеметрию?
Кто устанавливает путь обновления? Кто может отозвать функцию?
Кто выигрывает от зависимости пользователя?
Это разделение станет более заметным, когда агентное программное обеспечение станет достаточно доступным для обычных пользователей. Один путь ведет к личной программной суверенности.
Пользователи используют агентов, которые создают и перестраивают необходимые им инструменты. Они выбирают провайдеров точек доступа на основе аттестаций, стоимости, надежности, конфиденциальности и соответствия.
Они могут отказаться от интерфейса, сохранив при этом базовую рабочую процедуру. Они могут перейти от одного конечного пункта к другому.
Они могут создавать нового клиента, когда старый становится скомпрометированным, захваченным или неэффективным. Программный слой становится переносимым, потому что пользователь владеет намерением, а агент может воспроизвести реализацию.
Другой путь ведет к управляемому удобству. Корпоративные платформы предложат субсидируемые приложения, интегрированную идентификацию, кредиты, платежи, хранилище, доступ к ИИ и стандартные рабочие процессы.
Часть этого будет полезной. Часть будет экономически принудительной.
Если AI-обусловленное изобилие приведет к созданию публичных или частных схем дохода, сопутствующих UBI, вычислительных кредитов, распределения токенов или платформенных преимуществ, канал распределения может стать мягким механизмом привязки. Пользователи могут получать доступ к сервисам через экосистему, которая также определяет, какое программное обеспечение они используют, как перемещаются их данные и какие агенты могут действовать от их имени.
Уровень UBI — это наиболее чувствительная версия этой проблемы. Сэм Альтман давно ассоциируется с дебатами эпохи ИИ о распределении доходов, и Worldcoin частично позиционировался как решение, основанное на доказательстве личности и возможности распределений, подобных UBI.
Более широкая идея выходит за рамки одного проекта. Когда экономическая поддержка, верификация личности, доступ к вычислительным ресурсам и программные разрешения совпадают, участие может стать условным, оставаясь на вид добровольным.
Пользователь может теоретически иметь возможность отказаться, но на практике его направляют к управляемому прикладному уровню.
Удобство становится главным полем боя. Корпоративный стек выиграет пользователей за счет низкого порога входа.
Он предложит отточенные параметры по умолчанию, мгновенный доступ, встроенный ИИ, совместимость с социальными платформами, процедуры восстановления, соответствие требованиям законодательства и вознаграждения. Частный стек должен конкурировать на чем-то более сложном: автономией, которая ощущается как удобная.
Это должно дать пользователям причину взять на себя больше ответственности, избегая технического администрирования. Персональный агент становится решающим, поскольку он может поглотить сложность, которая ранее делала суверенитет непрактичным.
Следующий тест — выберут ли пользователи сгенерированное доверие вместо готового удобства
Первичный риск заключается в том, что пользователи обменивают контроль на удобство, не понимая его стоимости. Вторичный риск состоит в том, что такой обмен становится субсидируемым, нормализованным и в конечном итоге обязательным для доступа к экономической жизни.
Корпоративные приложения могут стать стандартной средой для тех, кто принимает пакетные выгоды. Приложения, созданные частным порядком, могут стать стандартом для тех, кто готов платить, проходить верификацию, настраивать или самостоятельно хранить свой программный слой.
Это создает новый классовый разрыв в управлении исполнением. Вопрос в том, сжимает ли агентное ИИ этот разрыв или углубляет его.
Этот переход будет неравномерным. Регулируемые сектора будут двигаться медленнее.
Предприятия будут защищать экосистемы приложений аргументами о соответствии требованиям. Потребители продолжат выбирать удобство по умолчанию, когда альтернатива частного использования кажется хрупкой.
Злоумышленники будут нацеливаться на агентов, промпты, выбор зависимостей, цепочки поставок моделей и аттестации конечных точек. Системы проверки создадут новые узкие места, если они окажутся под контролем небольшого числа центров сертификации, облачных платформ или поставщиков моделей.
Персональная программная суверенность может стать еще одной рекламной заявкой, если пользователи не смогут проверять, мигрировать и отзывать.
Тем не менее, направление достаточно ясно, чтобы определить следующий тест. Вопрос в том, примут ли люди удобство вместо суверенитета, когда их собственные агенты смогут создавать большую часть того, что им нужно.
Сегодня ответ в основном да, поскольку альтернатива остается слишком требовательной. Завтра ответ становится менее определенным.
Пользователь, который может создать рабочее приложение, ограничить его разрешения, проверить его зависимости, подключаться только к ранжированным endpoint-ам и пересобирать его при изменении условий, имеет реальную альтернативу корпоративному программному пакету.
Этот альтернативный вариант сначала покажется странным. Затем он покажется разумным.
Тогда это может стать ожидаемым стандартом для всех, кто работает с деньгами, идентичностью, данными о здоровье, частной перепиской, исследованиями или бизнес-операциями. Выполнение непрозрачного кода сторонних разработчиков будет сохраняться, когда удобство становится приоритетом, когда субсидии искажают выбор, а пользователи соглашаются на управляемые среды в обмен на экономический доступ.
Это исчезнет, где агенты используют частную процедуру генерации.
Социальная переоценка произойдет медленно, а затем внезапно. Старая привычка будет оставаться знакомой, пока новый стандарт не станет очевидным.
Как только пользователи смогут поручить своим агентам создавать приложения, проверять путь выполнения и подключаться только к аттестованным точкам входа, бремя объяснения меняется местами. Человек, запускающий чужой код, должен будет иметь причину.
Человек, который действует через агента, просто будет использовать более безопасный вариант по умолчанию. Однако ему также может потребоваться принять факт упущенных корпоративных стимулов, предоставляемых тем, кто остается подключенным к матрице.
Пост Дни приложений сочтены: конечная стадия программного обеспечения — частное, персональное, проверенное и созданное агентом ИИ появился первым на CryptoSlate.