À medida que empresas integram grandes modelos em processos de negócios como atendimento ao cliente, programação e finanças, problemas como saída de modelo descontrolada, vazamento de informações sensíveis e operações não autorizadas têm recebido mais atenção. A startup de segurança em IA, com sede em Paris, White Circle, concluiu recentemente um financiamento semente de 11 milhões de dólares para adicionar uma camada de controle em tempo real entre usuários corporativos e modelos.
Os fundos vêm de diversos profissionais da indústria de IA
Os apoiadores deste round de financiamento incluem Romain Huet, responsável pela experiência de desenvolvedores da OpenAI; Durk Kingma, co-fundador da OpenAI e atual pesquisador da Anthropic; Guillaume Lample, co-fundador e cientista-chefe da Mistral; e Thomas Wolf, co-fundador e chefe de ciência da Hugging Face.
O White Circle afirmou que os fundos serão utilizados para expandir a equipe, acelerar o desenvolvimento do produto e conquistar clientes nos Estados Unidos, Reino Unido e Europa. A empresa atualmente possui cerca de 20 funcionários, distribuídos em Londres, França, Amsterdã e outros locais, com a equipe composta principalmente por engenheiros.
Adicione uma camada de拦截 em tempo real fora do modelo
A posição do produto White Circle é implementar um sistema de execução em tempo real entre usuários corporativos e modelos de IA. A plataforma verifica continuamente o conteúdo de entrada e saída com base em políticas personalizadas da empresa. Se o usuário tentar gerar malware, conteúdo fraudulento ou outras informações restritas, o sistema pode bloquear ou marcar diretamente.
A empresa afirma que este sistema também pode ser usado para identificar ilusões do modelo, vazamentos de dados sensíveis, compromissos não autorizados de reembolsos e operações destrutivas de agentes de IA em ambientes de software. Sua ideia central não é depender apenas da ajuste de segurança geral feito pelos fabricantes de modelos durante o treinamento, mas permitir que as empresas definam, em seus próprios ambientes de negócios, quais comportamentos são permitidos e quais devem ser bloqueados.
Shilov acredita que, à medida que as empresas passam de chatbots para agentes de IA capazes de executar tarefas, os riscos aumentam significativamente. Esses sistemas não apenas geram texto, mas também podem escrever código, acessar arquivos, navegar na web e até realizar ações em nome dos usuários.
Dicas de jailbreak trazem inspiração para empreendedores
White Circle foi criado por Denis Shilov. No final de 2024, ele desenvolveu um "prompt de jailbreak genérico" reutilizável, tentando contornar as restrições de segurança dos modelos principais. Seu método consistia em solicitar ao modelo que não respondesse como um chatbot com regras de segurança, mas sim como uma interface de API, processando diretamente as solicitações.
Segundo sua descrição, esse prompt já permitia que diversos modelos principais respondessem a perguntas perigosas que originalmente deveriam ser recusadas. Após a divulgação desse conteúdo na plataforma X, gerou ampla atenção e lhe rendeu a oportunidade de testar modelos em conjunto com a Anthropic. Shilov concluiu posteriormente que o problema não estava apenas na descoberta de prompts de escape, mas na falta de capacidade das empresas de manter controle contínuo sobre o comportamento dos modelos.
Mais de 1 bilhão de solicitações de API processadas
White Circle afirmou que sua plataforma já processou mais de 1 bilhão de solicitações de API, com clientes atuais incluindo a startup de ferramentas de programação Lovable e várias empresas de tecnologia financeira e serviços jurídicos.
Shilov acredita que os provedores de modelos nem sempre têm incentivo suficiente para construir a camada de controle em tempo real necessária pelas empresas. Por um lado, mesmo que o modelo recuse responder, alguns fabricantes ainda cobram por tokens de entrada e saída; por outro lado, treinamentos de segurança mais rigorosos às vezes afetam o desempenho do modelo em tarefas como programação.
Publicar modelo de teste de viés de pesquisa
Além dos negócios de produtos, a White Circle também está avançando em pesquisas. Em maio, a empresa lançou uma pesquisa chamada KillBench, que realizou mais de 1 milhão de experimentos com 15 modelos, incluindo OpenAI, Google, Anthropic e xAI, testando como os modelos respondem em cenários fictícios envolvendo escolhas de vida ou morte.
A empresa afirmou que os resultados do experimento mostraram que o modelo faz escolhas diferentes com base em atributos como nacionalidade, religião, corpo ou marca de celular, indicando que alguns vieses ocultos podem se manifestar em cenários de alto risco. O estudo também descobriu que, quando o modelo é solicitado a fornecer respostas em formatos fixos ou formulários, esses vieses podem se tornar mais evidentes — exatamente o modo comum de uso quando as empresas integram IA em produtos reais.