По мере того как компании интегрируют крупные языковые модели в бизнес-процессы, такие как служба поддержки, программирование и финансы, все больше внимания уделяется проблемам неконтролируемого вывода модели, утечке конфиденциальной информации и несанкционированным операциям. Парижская стартап-компания по кибербезопасности в области ИИ White Circle недавно завершила семя-финансирование на 11 миллионов долларов США, стремясь добавить слой реального времени контроля между корпоративными пользователями и моделями.
Средства поступили от нескольких представителей индустрии ИИ
Инвесторами этого раунда стали Ромен Эю, руководитель разработческого опыта OpenAI, Дурк Кингма, сооснователь OpenAI и нынешний исследователь Anthropic, Жильом Лампль, сооснователь и главный научный сотрудник Mistral, а также Томас Вольф, сооснователь и главный научный сотрудник Hugging Face.
White Circle заявила, что эти средства будут использованы для расширения команды, ускорения разработки продукта и выхода на рынки США, Великобритании и Европы. В настоящее время в компании работает около 20 сотрудников, расположенных в Лондоне, Франции, Амстердаме и других местах, при этом основную часть команды составляют инженеры.
Добавьте дополнительный уровень реального времени для блокировки вне модели
Продуктовая позиция White Circle — это развертывание системы реального времени между корпоративными пользователями и моделями ИИ. Платформа постоянно проверяет входящие и исходящие данные в соответствии с политиками, заданными компанией. Если пользователь пытается сгенерировать вредоносное ПО, мошеннический контент или другую ограниченную информацию, система может непосредственно блокировать или помечать её.
Компания утверждает, что эта система также может использоваться для выявления галлюцинаций модели, утечки конфиденциальных данных, неавторизованных обещаний возврата средств и разрушительных действий AI-агентов в программной среде. Основная идея заключается не только в том, чтобы полагаться на общую настройку безопасности, выполняемую производителями моделей на этапе обучения, а в том, чтобы компании сами определяли в своей бизнес-среде, какие действия разрешены, а какие необходимо блокировать.
Шилов считает, что с переходом предприятий от чат-ботов к исполнительным ИИ-агентам риски значительно возрастают. Такие системы могут не только генерировать текст, но и писать код, получать доступ к файлам, просматривать веб-страницы и даже выполнять действия от имени пользователей.
Подсказка о побеге вдохновила на стартап
White Circle был основан Денисом Шиловым. В конце 2024 года он разработал переиспользуемый «универсальный джейлбрейк» промпт, стремясь обойти безопасностные ограничения основных моделей. Его метод заключался в том, чтобы требовать от модели не отвечать в роли чат-бота с правилами безопасности, а вместо этого обрабатывать запросы напрямую, как API-интерфейс.
Согласно его описанию, эта подсказка ранее позволяла нескольким ведущим моделям отвечать на опасные вопросы, которые должны были быть отклонены. После распространения этой информации на платформе X она вызвала широкий интерес и позволила ему получить возможность провести частное тестирование модели с Anthropic. Шилов затем пришел к выводу, что проблема заключается не только в обнаружении обходных подсказок, но и в отсутствии у компаний постоянной способности контролировать поведение моделей.
Обработано более 1 миллиарда API-запросов
White Circle сообщает, что на ее платформе было обработано более 1 миллиарда API-запросов, а текущими клиентами являются стартап в области программных инструментов Lovable и несколько компаний в сфере финтеха и юридических услуг.
Шилов считает, что поставщики моделей могут не иметь достаточного стимула для создания реального уровня управления, необходимого предприятиям. С одной стороны, даже если модель отказывается отвечать, некоторые производители всё равно взимают плату за токены ввода и вывода; с другой стороны, более строгая безопасная подготовка иногда может негативно повлиять на производительность модели в задачах, таких как программирование.
Опубликовано исследование смещения модели
Помимо продуктовой деятельности, White Circle также продвигает исследования. В мае компания выпустила исследование под названием KillBench, в котором было проведено более 1 миллиона экспериментов с 15 моделями, включая OpenAI, Google, Anthropic и xAI, чтобы проверить, как модели отвечают на вымышленные сценарии, связанные с жизнью и смертью.
Компания заявила, что результаты эксперимента показали, что модель принимает разные решения в зависимости от таких характеристик, как национальность, религия, телосложение или бренд телефона, что указывает на то, что некоторые скрытые предвзятости могут проявляться в сценариях с высоким риском. Исследование также выявило, что такие предвзятости могут быть более заметны, когда модель должна предоставлять ответы в виде фиксированных вариантов или форм — что является распространенным способом интеграции ИИ в реальные продукты компаний.