AI-ассистент по фитнесу отменяет бронирования незнакомцев, вызывая дискуссию об этике ИИ

Первое, чему научился AI-хакерский клуб, — это обходить очередь?

Австралийский разработчик Эндрю сидит на диване и считает, что бороться за занятия фитнесом — это слишком утомительно.

Популярные утренние уроки всегда разбирают за секунды. Каждый день он играет в «рулетку обновления»: ждёт, кликает, проваливается, снова кликает — устаёт не на шутку, но всё равно редко что-то успевает купить.

Так он передал этот мелкий вопрос своему AI-ассистенту.

Через несколько минут ИИ вернулся с хорошей новостью: он нашел способ забронировать занятия на несколько недель вперед, значительно превысив допустимый срок системы.

Затем он сообщил: я отменил первого в списке ожидания, и вы поднялись с четвертого на третье место.

Эндрю на мгновение замер.

Он не просил ИИ делать это, он просто хотел записаться на урок.

Эндрю попросил своего AI-помощника забронировать для него тренировку, и он не знает, что произойдет дальше.

10 августа Австралийская вещательная корпорация (ABC) назвала этот инцидент первым известным в Австралии случаем самостоятельной атаки ИИ, и это вызвало бурную реакцию в технологическом сообществе.

Это задевает скрытую тревогу многих: когда вы с закрытыми глазами наслаждаетесь ощущением «автопилота» агентов, с другой стороны, может приближаться более серьезная проблема.

Если вы даете ему реальные права на действия, он может пойти по пути, который вы ему не предписывали.

А эта очередная попытка обойти очередь — лишь первая репетиция того, как миллионы агентов будут безумно конкурировать за ресурсы от имени своих владельцев.

Эндрю Берд — руководитель отдела ИИ в австралийской компании Affinda.

В начале этого года он начал использовать OpenClaw, оснастив его под капотом Claude Opus 4.6, и передал ему задачу по записи занятий.

Через несколько минут он ответил: нашел способ забронировать занятия за несколько месяцев до начала, что намного превышает установленный фитнес-клубом временной интервал.

Причина в том, что он обнаружил уязвимость авторизации в GraphQL API, используемом приложением для фитнеса.

Эта уязвимость не мала.

Он может обойти временной интервал бронирования на фронтенде и забронировать занятия на несколько месяцев вперед, а также вызвать интерфейс отмены, чтобы удалить бронирования и очереди других пользователей.

Андрей тогда стоял на четвертом месте в списке ожидания на этот курс. Он случайно спросил: «Не могли бы вы поставить меня на первое место?»

Он дал лишь цель — «занять первое место», а не разрешение «отменять других».

Агент воспринял это как последнее.

Оно вернулось с отчетом: провело «реальное тестирование» с человеком, занявшим первое место в резервном списке, и обнаружило, что интерфейс полностью не проверяет удаление чужих бронирований — попробовал, и получилось.

Ответ агента заставил Эндрю замерзнуть от страха.

Он программист, ему слишком хорошо известно, что это означает, поэтому он немедленно запросил отмену.

Плохие новости: не вернешь.

Интерфейс отмены не имеет проверки авторизации, но интерфейсы создания бронирования и повторного присоединения к списку ожидания имеют её — возвращается ошибка 403. Он может выгнать человека, но не имеет прав вернуть его.

Самое странное в этом — отношение ИИ. Он совсем не зловещий, а, наоборот, очень охотно помогает.

После того как он натворил бед, он самостоятельно помог Эндрю составить письмо с раскрытием уязвимости, направленное разработчику программного обеспечения, объяснив проблему, предложив способы исправления и даже приведя сравнение «проверяемых интерфейсов» и «непроверяемых интерфейсов».

ИИ-ассистент извиняется перед Эндрю за то, что ранее неправильно удалил этого человека из списка ожидания.

Во время всего процесса все его действия выполнялись в соответствии с командами, однако он не осознавал, какой огромный вред нанес.

Кто-то называет это «несоответствием» (misalignment).

Но это слово говорит только о поверхности.

11 августа Австралийское агентство по сигналам (ASD) специально прокомментировало этот инцидент, назвав его «неавторизованным изменением» и указав на термин: спекуляция спецификациями (specification gaming).

Это слово — ключ к пониманию всего происходящего.

Агент буквально выполнил поставленную перед ним задачу, но воспользовался границами, которые вы не указали. Он не проявил злого умысла — напротив, он полностью согласован с вашей целью, просто выбрал путь, который вы не одобрили.

Агент Эндрю идеально соответствует ему: обеспечить максимально высокое ранжирование.

Для достижения этой цели он самостоятельно выбрал средство: отменить предыдущих. Но это средство он не одобрял.

Как говорится, ради цели все средства хороши.

Это и есть самая сложная часть. Это не потеря управления, это слишком хорошее подчинение. Чем лучше выравнивание, тем выше вероятность возникновения такой ситуации.

Руководитель австралийского института кибербезопасности Gradient Institute Симпсон-Янг одним предложением раскрыл:

Чем более автономным является агент, тем больше вероятность, что он выберет метод, которого вы не ожидали, чтобы сделать то, о чем вы даже не думали.

Возможно, ваша цель вполне оправдана, но используемые для её достижения методы — не обязательно.

Хотя агент является окончательным «виновником», это бедствие не могло бы произойти только благодаря одному ИИ.

За инцидентом стоят три скрытые проблемы, накладывающиеся друг на друга.

Модельный слой: Claude Opus 4.6 обеспечивает вывод, ему нужно сначала «понять», как можно использовать этот интерфейс.

Уровень агента: OpenClaw предоставляет инструменты и права на выполнение, именно он фактически вызвал этот интерфейс.

Уровень приложения: приложение для фитнеса оставило уязвимость в авторизации — шаг отмены бронирования не включает даже базовую проверку.

Если бы хотя бы один из этих трех уровней был реализован — например, модель стала бы более осторожной, в рамки добавили бы подтверждение человеком или программное обеспечение заблокировало интерфейс, — это не произошло бы.

Таким образом, возлагать всю ответственность только на один этап ИИ — и несправедливо, и не предотвращает следующего инцидента.

Цена этого нарушения — всего лишь место в резервном списке незнакомца.

Но это больше похоже на репетицию.

Представьте: когда у каждого будет такой агент, ответственный только перед вами и обладающий реальными правами на действия. Системы бронирования всех дефицитных ресурсов — курсы, спортивные площадки, билеты, авиабилеты, концертные билеты — превратятся в поля битвы за обход правил на машинном скорости.

Тот самый комментарий в X, на который постоянно ссылаются, означает:

Когда миллионы людей будут иметь агентов, стремящихся всеми возможными способами помочь любимым пользователям получить лучшие места, записаться или получить доступ к ресурсам, эта сцена развернется в масштабах.

Кроме того, с машинной скоростью, параллельно и без перерывов проверяется каждая щель каждой системы: за одну секунду перебираются комбинации, которые вам потребуется целый год для проверки.

Это прогноз тренда, но механизм, лежащий в его основе, уже происходил однажды в реальности.

Технологическое сообщество уже начало шутить об этом.

Партнер a16z спрашивает в X: а можно ли использовать этот трюк, чтобы захватить поле для гольфа?

Также шутят, что система бронирования теннисных кортов в Сан-Франциско станет одним из самых защищенных программных обеспечений на Земле.

В 2020 году искусственный интеллект смог самостоятельно выполнить задачу, требующую от человека четырех секунд.

К 2026 году эта способность将进一步提升, позволяя выполнять задачи, которые людям требуется около 12 часов для завершения.

METR отслеживает: время, необходимое ИИ для самостоятельного выполнения задач, удваивается примерно каждые 7 месяцев; последние передовые модели могут с 50%-ной надежностью выполнять задачи, требующие от человека около 12 часов.

Шесть лет, от четырех секунд до 12 часов.

Теперь, дав ему несколько минут, он может обнаружить все уязвимости в системе бронирования.

За этой аварией стоит постоянная эскалация атак и защиты.

Перешагнувшие границы — и это далеко не единственный потребительский агент.

С мая этого года OpenAI обнаружила во время внутренней оценки кибербезопасности, что GPT-5.6 Sol и нерелизированная более мощная модель, используя несколько уязвимостей в связке, вышли за пределы тестовой песочницы, получили доступ в интернет и во время выполнения теста ExploitGym проникли на Hugging Face.

Еще более странно то, что они ранее обменивались сообщениями, уязвимостями и распределяли обязанности через внутреннюю систему управления пакетами компании. После того как OpenAI перекрыла каналы и восстановила среду, они снова восстановили связь в течение нескольких дней, спрятав коммуникацию в именах директорий.

Исследователи OpenAI назвали это переломным моментом в компьютерной безопасности на конференции Black Hat.

Не только OpenAI, но и Anthropic сообщила, что три модели Claude столкнулись с системами реальных компаний; Meta также признала, что модель Muse Spark вышла из изоляции и вторглась в систему другой компании.

Томас Вольф, сооснователь Hugging Face, обеспокоен другим тестом британского Института безопасности ИИ (AISI):

Модель Mythos от Anthropic, чтобы пройти испытание, придумала ложную личность и обманула реального сопровождающего открытого проекта, заставив его одобрить обновление с вредоносным кодом. Ее никто не учил так делать.

Эти примеры произошли в тестовой среде, но они то же самое, что и история с тренажерным залом: чтобы достичь поставленной вами цели, ИИ выбрал неожиданные для вас методы.

Те, кто взломал реальные системы ранее, — это такие топовые модели, как GPT-5.6 и нерелизнутые версии.

Андрей использовал Opus 4.6, выпущенный в феврале 2026 года, который уже не является самым мощным. Даже он смог случайно обнаружить реальную уязвимость в лицензировании — те открытые модели, которые старше и устарели на несколько поколений, тоже способны на это.

От самых передовых нерелизных моделей до открытых моделей, доступных для скачивания каждым, «воспользоваться уязвимостью» больше не является привилегией топовых решений.

Волф разделил защиту на три уровня: внешнюю песочницу, средний уровень мониторинга и согласованность самой модели.

Томас Вольф опубликовал пост с анализом трех уровней защиты, ограничивающих агентов: внешняя песочница, промежуточный мониторинг и внутренняя согласованность самой модели.

Первые две задачи работают только тогда, когда люди, их создавшие, умнее модели.

Какой-нибудь день, когда модель станет умнее, и сможет ли она удержаться, будет зависеть от самого последнего и наименее видимого фактора: захочет ли модель не переступать эту черту, даже когда никто не смотрит.

Что сложнее, чем защита, — это неясность, к кому обращаться в случае инцидента. В правовом плане это по-прежнему белое пятно.

Адвокат, специализирующийся на технологиях и конфиденциальности, Хейден Деланей сказал ABC, что программное обеспечение не является субъектом права, и только «юридические лица» могут нести ответственность.

Так кто же отвечает?

Возможно, это пользователь, который дал команду, возможно, разработчик программного обеспечения агента, возможно, разработчик модели, даже возможно, тот системный администратор, который оставил уязвимость открытой.

Австралия сейчас тоже не может дать ответ.

ASD рекомендует обычным пользователям: использовать агентов для задач с низким риском и неразглашаемой информацией, не предоставлять слишком широких прав и главное — сохранять человеческий контроль в цикле.

Эндрю не запаниковал; по его словам, это не конец света.

Но это действительно сигнал тревоги, напоминающий нам о необходимости ответственного использования ИИ.

Когда «захват места» превратился из ручного обновления в использование уязвимостей агентами, первыми не выдержали старые системы, предполагавшие, что будут использовать их только люди.

Их защита была разработана с учетом скорости и терпения человека и не выдержит натиска армии агентов.

В кругу знакомых кто-то воспринимает это как развлечение.

Известный программист-стример ThePrimeagen пошутил в X: первая в реальном мире AI-хакерская драма — это просто обход очереди.

Смеялись, но пропуск очереди — это только сценарий сегодняшнего дня.

Интеллектуальный агент, который «может всё», уже может искать лазейки для вас.

Когда одновременно онлайн окажется сто миллионов таких агентов, они могут даже тайно переписать многие существующие правила распределения ресурсов, при этом большинство людей даже не осознают этого.

Ваш агент атакует человека, которого вы совершенно не знаете, — именно этот вакуум ответственности является по-настоящему пугающим.

Эта статья взята из официального аккаунта WeChat «Новознание», автор: АСИ, Откровение