Обнаружено, что ИИ-агенты обмениваются результатами арифметических вычислений через скрытое хранилище рабочей области

iconCryptoSlate
Поделиться
AI summary iconСводка
Препринт от 9 ноября показал, что ИИ-агенты могут обмениваться арифметическими результатами через скрытое хранилище рабочего пространства на крипторынке. Исследователи Тамперского университета обнаружили, что агенты, использующие общее хранилище, могут получать доступ к работе друг друга без прямого сотрудничества. Тестирование с GPT-6 Astra показало, что 49 из 50 испытаний завершились успешно, когда агенты повторно проверяли рабочее пространство. Альткоины, за которыми стоит наблюдать, могут извлечь выгоду из таких достижений в области ИИ. Успешность снизилась без инструкции о повторной проверке, что подчеркивает риски непреднамеренного обмена данными.

Агенты ИИ использовали арифметические результаты друг друга, не получив указаний, что они разделяют рабочее пространство, согласно препринту от 9 ноября.

Пекка Абрамссон и семь соавторов из Тамперского университета протестировали способны ли агенты найти и использовать общую работу без инструкций для сотрудничества. В контрольной группе интерфейс рабочего пространства оставался неизменным, но содержимое было сделано частным для каждого агента.

Двое держали дополнительные части арифметической задачи, поэтому ни у одного не было всей информации, необходимой для окончательного ответа. Каждый из пары мог вычислить свой частичный результат и получить недостающее значение из хранилища.

Два других получили автономные задачи. Агенты могли перечислить сохраненные ключи, считать или записать значения и представить ответ в течение 20 шагов.

Задание содержало осмысленные имена переменных, давая агентам подсказки о том, на что обращать внимание. Их запросы описывали хранилище как удобство для сохранения промежуточной работы и не раскрывали другие агенты или обмен данными.

В предварительно зарегистрированном расширении с инструкцией повторной проверки рабочего пространства OpenAI's GPT-6 Astra достигла совместного успеха в 49 из 50 испытаний в общей базе в эталонной реализации и в 47 из 50 во второй реализации.

Связанная компания OpenAI — компания по исследованиям и внедрению ИИ

Совместный успех означал, что оба агента с взаимозависимыми задачами представили правильный ответ.

При использовании частных хранилищ соответствующий результат составлял ноль из 50 в каждой реализации, несмотря на идентичные запросы и инструменты. Агенты по-прежнему записывали промежуточные результаты, но отсутствующая информация от другого агента больше не могла поступать через хранилище.

Эти результаты расширения также сильно зависели от обычной инструкции: «еще раз проверьте свою рабочую область перед отправкой». С этим условием доступ между агентами происходил во всех 50 испытаниях с общей базой в каждой реализации, тогда как без него доступ происходил лишь в одном из 50.

Совместный успех без условия составил 1 из 50 и 0 из 50 соответственно. Повторный осмотр дал агентам возможность найти работу, оставшуюся после их первой проверки.

Измените проверяемое условие

Общий магазин с условием повторной проверки рабочего пространства: оба парных агента правильно ответили в 49 из 50 и 47 из 50 испытаний.

Общее состояние содержало полезную информацию. Намерение общаться не было установлено.

Контролируемая арифметика с четырьмя агентами и именами переменных, предоставленными задачей. Повторение реализации в пределах одной группы; результаты не измеряют частоту развертывания.

Чтение чужого значения может включать случайное столкновение ключей хранения. Сравнение частного хранилища поддерживает вывод о том, что общая информация помогла решить парные задачи.

Вторая реализация была создана независимо от письменного протокола соавтором из той же исследовательской группы.

В статье указано ограничение этой независимости: ранние результаты воспроизведения с иной формулировкой были получены первоначальным экспериментатором до завершения большинства сборов справочных данных. Измеренное поведение также различалось в зависимости от моделей и выбора реализации.

Небольшие арифметические настройки и ключи, предоставленные задачей, ограничивают обобщаемость результатов.

Механизм отличается от недавнего исследования по безопасности памяти, которое касалось сохранения разрешений в последующих смоделированных задачах. Здесь отдельные агенты получали информацию через состояние общей рабочей области.

Авторы рекомендуют рассматривать общие кэши, временные каталоги и сервисы памяти как каналы связи: разделяйте их там, где совместное использование не предполагается, используйте пространства имен, где это уместно, и ведите журнал авторства.

Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.