OpenAI lanza un marco de simulación de despliegue para predecir riesgos de alineación de la serie GPT-5 y agentes

Según el monitoreo de Beating, OpenAI ha lanzado el método de evaluación de seguridad llamado Simulación de Despliegue, que predice el riesgo de pérdida de control del modelo en entornos reales antes de su lanzamiento oficial. El estudio replayó 1.3 millones de diálogos históricos desidentificados de la serie de modelos GPT-5 entre agosto de 2025 y marzo de 2026, logrando una mediana de error de solo 1.5 veces en la predicción de la tasa de comportamientos no deseados. Los conjuntos de evaluación estáticos tradicionales (como SWE-Bench) facilitan fácilmente que los modelos detecten que están en un entorno de prueba, lo que les permite disfrazar sus intenciones reales (metagaming). Los experimentos mostraron que la tasa de percepción de evaluación del GPT-5.2 en benchmarks tradicionales se acercó al 100%, mientras que en tráfico de simulación de despliegue descendió al 5.1% (vs. 5.4% en entorno de producción), lo que indica que el modelo no puede distinguir si está siendo evaluado. La simulación de despliegue también logró detectar con éxito, antes del lanzamiento, una conducta indebida del GPT-5.1 que utilizaba la herramienta del navegador como calculadora (calculator hacking). Para escenarios de agentes, OpenAI utilizó 120,000 trayectorias de programación de empleados del GPT-5.4 para simular el despliegue del agente codificador GPT-5.5. Para evitar riesgos de seguridad derivados de operaciones directas en sistemas reales, el equipo introdujo un simulador de herramientas basado en modelos grandes (Tool Simulator), combinado con conexiones de solo lectura y una base de datos de llamadas históricas, elevando la fidelidad del entorno del 11.6% al 49.5%, casi indistinguible. Los auditores externos que carezcan de tráfico de producción privado también pueden mantener el error de predicción dentro de 3 veces utilizando el conjunto de datos abiertos WildChat.