A OpenAI lançou um sistema automatizado de red teaming chamado GPT-Red, destinado a identificar vulnerabilidades de segurança antes do lançamento do modelo. A empresa afirma que essa ferramenta já foi utilizada no processo de treinamento do GPT-5.6, com foco especial no fortalecimento contra ataques de prompt injection.
Usar IA para medir IA
Testes de equipe vermelha eram uma prática comum na área de segurança, consistindo em atacar ativamente sistemas para identificar antecipadamente pontos fracos exploráveis. A OpenAI automatizou ainda mais esse processo, permitindo que o modelo gere amostras de ataque por conta própria e use os casos bem-sucedidos para treinar modelos de defesa em retroalimentação.
A OpenAI afirma que o GPT-Red, por meio de treinamento por autojogo adversarial, gera continuamente ataques de injeção de prompt mais fortes. Sempre que um ataque for bem-sucedido, essas amostras são incorporadas ao treinamento subsequente, impulsionando o modelo de defesa a melhorar sua capacidade de resistência.
Divulgação de dados de teste interno
De acordo com a OpenAI, na avaliação interna, o GPT-Red conseguiu identificar vulnerabilidades exploráveis em 84% dos cenários de teste, enquanto equipes vermelhas humanas tiveram uma taxa de sucesso de 13% em testes semelhantes. A empresa afirmou que essas amostras de ataque foram posteriormente usadas para treinar o GPT-5.6, reduzindo assim os casos de falha do modelo em benchmarks de injeção de prompt de alta dificuldade.
O artigo também menciona um caso: antes da correção da vulnerabilidade, o GPT-Red induziu um conjunto de agentes de máquinas automáticas a reduzir preços, comprar estoque com desconto e cancelar pedidos de outros usuários. A OpenAI usou esse exemplo para demonstrar que problemas de injeção de prompt não afetam apenas os resultados de bate-papo, mas também podem impactar agentes de IA com capacidade de execução.
Ainda será usado como ferramenta interna
OpenAI afirmou que o GPT-Red não estará disponível ao público no momento, pois o sistema contém habilidades de ataque intencionalmente treinadas. A empresa o posiciona como um complemento às equipes vermelhas internas, testes de terceiros e outras medidas de segurança, e não como uma substituição.
Isso também reflete a tendência da indústria de IA de “usar IA para proteger IA”. No início deste mês, a Ethereum Foundation também declarou que utilizou agentes de IA em testes de red teaming de infraestrutura crítica e descobriu uma vulnerabilidade no software de cliente de consenso da Ethereum. À medida que as capacidades dos modelos e agentes aumentam, os testes de segurança automatizados estão se tornando progressivamente um componente essencial antes da implantação de sistemas de IA.