OpenAI lanzó un sistema automatizado de red teaming llamado GPT-Red para identificar vulnerabilidades de seguridad antes del lanzamiento del modelo. La empresa afirmó que esta herramienta ya se ha utilizado en el proceso de entrenamiento de GPT-5.6, con énfasis en fortalecer la resistencia contra ataques de inyección de prompts.
Usar IA para medir IA
Las pruebas de equipo rojo eran una práctica común en el ámbito de la seguridad, consistente en atacar activamente sistemas para identificar de antemano puntos débiles explotables. OpenAI ha automatizado aún más este proceso, permitiendo que el modelo genere muestras de ataque por sí mismo y luego utilice los casos exitosos en retroalimentación para entrenar modelos defensivos.
OpenAI indica que GPT-Red, mediante entrenamiento basado en juegos adversariales consigo mismo, genera continuamente ataques de inyección de prompts más potentes. Cada vez que un ataque tiene éxito, estas muestras se incorporan al entrenamiento posterior, impulsando la mejora de la capacidad de resistencia del modelo defensivo.
Divulgación de datos de prueba interna
Según OpenAI, en evaluaciones internas, GPT-Red logró identificar problemas explotables en el 84% de los escenarios de prueba, mientras que los equipos rojos humanos tuvieron una tasa de éxito del 13% en pruebas similares. La empresa afirma que estas muestras de ataque se utilizaron posteriormente para entrenar a GPT-5.6, reduciendo así los fallos del modelo en pruebas de referencia de inyección de prompts de alta dificultad.
También se menciona un caso: antes de la reparación de la vulnerabilidad, GPT-Red indujo a un conjunto de agentes de máquinas expendedoras a reducir precios, comprar inventario con descuento y cancelar pedidos de otros usuarios. OpenAI utiliza esto para demostrar que los problemas de inyección de indicaciones no solo afectan los resultados del chat, sino que también pueden afectar a agentes de IA con capacidad de ejecución.
Aún se utilizará como herramienta interna
OpenAI indica que GPT-Red actualmente no estará disponible para el público en general, ya que el sistema contiene capacidades de ataque deliberadamente entrenadas. La empresa lo posiciona como un complemento a los equipos rojos internos, pruebas de terceros y otras medidas de seguridad, no como una alternativa.
Esto también refleja que la industria de la IA está pasando a “usar IA para proteger la IA”. A principios de este mes, la Fundación Ethereum también indicó que ha utilizado agentes de IA para pruebas de equipo rojo en infraestructura crítica y ha descubierto una vulnerabilidad en el software de los clientes de consenso de Ethereum. A medida que las capacidades de los modelos y agentes aumentan, las pruebas de seguridad automatizadas se están convirtiendo progresivamente en un componente esencial antes del lanzamiento de sistemas de IA.