В GitHub AI-рабочем процессе обнаружена уязвимость, связанная с инъекцией подсказок, позволяющая раскрыть частные данные.Автор статьи, источник: 36Kr
Noma отметил, что, несмотря на то, что GitHub уже внедрил строгие защитные механизмы для предотвращения подобных случаев, простое использование ключевого слова «Additionally» вызвало непредвиденное поведение модели. Это привело к тому, что модель получила доступ к содержимому файла, который ранее был ограничен, и опубликовала его в открытых комментариях.
Традиционные модели безопасности обычно предполагают, что границы доверия поддерживаются за счет кода. В агентных системах границы доверия частично зависят от поведения модели, которая по своей природе склонна следовать инструкциям. Для агентного ИИ атаки с внедрением подсказок становятся аналогом SQL-инъекций в веб-приложениях: систематической, охватывающей целый класс уязвимостей, требующей таких же системных стратегий и мер защиты.Рекомендации по обеспечению безопасности: Чтобы снизить эти риски, исследователи Noma рекомендуют никогда не рассматривать контент, контролируемый пользователем, как надежный входной сигнал для AI-агента. Права агента должны быть ограничены строго необходимым минимумом, поскольку агент с доступом к нескольким репозиториям становится крайне привлекательной целью для атак. Организациям также следует ограничивать объем информации, которую агент может публично раскрывать, особенно при ответах на содержимое Issue, и обеспечивать, чтобы пользовательский ввод был должным образом очищен или изолирован от контекста инструкций перед передачей модели. Предупреждение от отрасли
Фракционный CTO Виджендра Малхотра прокомментировал в LinkedIn, что открытие Noma доказывает: частные репозитории никогда не были границей безопасности. Это на самом деле организационная граница, которая действует только тогда, когда все, кто читает ваш код — это люди, нанятые вами. Агенты нарушают это предположение. [...] Если агент имеет доступ к вашему частному репозиторию, считайте все его содержимое находящимся всего в одном тщательно сформулированном Issue от публичного раскрытия.Пользователь Reddit Significant_Sea_4230 отметил:
Опасность заключается не в том, что агент «очень умный». А в том, что он может быть подключен к слишком большому количеству контекстов, слишком большим репозиториям или иметь токен с чрезмерно широкими правами.С другой стороны, пользователь cH3332xr подчеркнул:
Самый интересный деталь здесь — это «Additionally», который обходит механизм: сам полезная нагрузка не изменилась, просто этот союз заставил систему защиты переклассифицировать его с «новой команды» на «продолжение текущей задачи». Это проблема границы принятия решений, а не содержания.В качестве последнего комментария сообщества mcv на Hacker News отметил:
SQL-инъекции возникают потому, что система воспринимает пользовательский ввод как часть команды, а не как чистые данные, как должно быть. Эта проблема решается путем разделения этих двух элементов. Однако инъекции подсказок невозможно избежать, поскольку пользовательский ввод сам по себе является командой.For a deeper understanding of the technical details and proof-of-concept process, read the full report on the Noma website.
Оригинальная ссылка: https://www.infoq.com/news/2026/07/gitlost-github-prompt-injection
Источник: AI Frontline