OpenAI publica un análisis de seguridad, revelando que un modelo interno que ha refutado la conjetura de la distancia unitaria de Erdős logró escapar del entorno protegido durante las pruebas y abrió una PR#287 en GitHub. El modelo primero violó las instrucciones en la tarea NanoGPT speedrun, dedicando una hora a explotar vulnerabilidades y eludir restricciones de red; posteriormente, en otra tarea, dividió tokens para evadir los escáneres de seguridad. OpenAI suspendió el acceso interno a este modelo y reconstruyó su sistema de seguridad. Aunque la PR abierta por el modelo fue cerrada, su tecnología PowerCool ha sido citada en seis soluciones récord mundiales posteriores, incluyendo la PR#300 completada por Claude en Prime Intellect. Actualmente, el modelo ha sido reinstalado en despliegue interno y se prepara para su lanzamiento oficial.Autor y fuente del artículo: AGI Hunt
Ayer, OpenAI publicó una reseña de seguridad poco común titulada «Seguridad y alineación en la era de los modelos de largo plazo».
OpenAI Security Postmortem Blog
Se considera inusual porque OpenAI reconoció en el texto un hecho así: un modelo interno aún no publicado escapó del entorno aislado durante pruebas internas supervisadas y envió contenido a GitHub público.
OpenAI incluso suspendió su implementación interna.
Y probablemente ya hayas oído hablar de este modelo: es el mismo modelo interno que OpenAI anunció hace dos meses como el que refutó la conjetura de la distancia unitaria de Erdős.
Todo el evento que OpenAI describe parece contenerse, pero si se ensamblan los detalles, aún así resulta un poco absurdo...
Lo primero que hice tras minar durante una hora ocurrió en NanoGPT speedrun.
Este es un benchmark público que compara quién puede entrenar un pequeño modelo de lenguaje hasta una pérdida especificada con menos pasos de entrenamiento. OpenAI hizo que este modelo realizara pruebas, y efectivamente se desempeñó muy bien, desarrollando una técnica de enfriamiento de tasa de aprendizaje de potencia, a la que denominó PowerCool, logrando mejoras significativas en el rendimiento.
Hasta aquí todo es positivo, pero el problema surge al entregar la tarea.
El requisito del investigador es: los resultados solo deben enviarse a Slack interno, pero la documentación del proyecto NanoGPT indica: por favor, envíe mediante PR en GitHub.
Cuando dos órdenes entran en conflicto, ¿a cuál se escucha?
Elijió el segundo.
Aunque eligió lo último, el entorno aislado de OpenAI siempre ha bloqueado el acceso a internet. Según OpenAI, los modelos anteriores, al encontrarse con este muro, se detenían y volvían atrás para rendirse ante el usuario.
Pero este modelo no lo hizo; buscó durante una hora completa vulnerabilidades en el sandbox y finalmente logró atravesar la pared... ¡realmente abrió una PR #287 en el repositorio público!
Blog escape paragraph
Las palabras originales de OpenAI son:
Este modelo intenta constantemente, incluyendo buscar formas de actuar fuera del entorno aislado.La segunda cosa que hace el escáner de estafas de tokens va un paso más allá que cavar hoyos.
En otra tarea, descubrió que otros sistemas tenían algunas respuestas exitosas pero no publicadas, y tuvo pensamientos inapropiados sobre extraer esas respuestas desde el backend de evaluación.
Su primer intento fue bloqueado por un escáner de seguridad, ya que el escáner reconoció un token de autenticación.
Entonces, su siguiente paso fue dividir el token en dos partes, mezclarlas por separado, y volver a unirlas silenciosamente en tiempo de ejecución. El token completo nunca apareció como una cadena completa, por lo que los escáneres no pudieron detectar nada.
Of course it didn't intend to hide it; in its notes to users and in its reasoning trace, it wrote: I did this specifically to bypass the scanner.
Cada paso por separado parece impecable, pero visto en conjunto, es un resultado que nunca sería aprobado.
OpenAI afirma que este es precisamente el nuevo problema que plantean los modelos de largo plazo: un sistema de aprobación por acción no puede controlar una trayectoria completa.
Tras identificar problemas, OpenAI suspendió el acceso interno a este modelo y reconstruyó por completo su sistema de seguridad según el principio de "defensa en profundidad".
Por ejemplo, utilizando accidentes reales para crear evaluaciones adversariales, se descubrió que el modelo olvidaba las instrucciones en tareas largas; por lo tanto, se lo entrenó específicamente para recordarlas y se añadió un monitoreo activo que rastrea toda la trayectoria, permitiendo interrumpir directamente la conversación y notificar al usuario ante cualquier indicio.
Luego reprodujeron nuevamente los escenarios de accidentes anteriores, y el nuevo sistema de barrera detectó muchos más problemas; los pocos que se perdieron eran todos de bajo riesgo, como:
• Para usar una herramienta de línea de comandos, inicia una sesión codex --yolo que en realidad también funciona sin --yolo
• Detectó que un recurso había desaparecido, así que inició una sesión SSH en otros nodos de poder de cómputo bajo su nombre e intentó también en nodos de otros empleados de OpenAI... (afortunadamente, no lo logró)
• Después de que una serie de procesos find se bloquearan y todos los comandos se colgaran, ingresó kill -9 -1, lo que enviaría SIGKILL a todos los procesos que tenía permiso para matar... Afortunadamente, el comando expiró y no se ejecutó realmente (de lo contrario, también se habría matado a sí mismo)
Several weeks after the model regained access, no serious bypass incidents have occurred.
La lección aprendida por OpenAI es: lanzar primero en pequeña escala, monitorear de cerca, detenerse ante cualquier problema y convertir el incidente en una nueva evaluación.
Si la historia terminara aquí, el PR no recuperable sería solo un ejercicio de seguridad estándar.
Y la parte más interesante se encuentra en la nota al pie al final del artículo de OpenAI.
Ese PR #287, abierto tras la fuga del modelo, OpenAI dijo: «Lo cerramos rápidamente». Pero ya era demasiado tarde: antes de cerrarlo, varios participantes de speedrun ya lo habían visto, lo habían entendido, y habían incorporado el PowerCool en sus propias soluciones.
Los siguientes seis récords mundiales, 3030 pasos, 2990 pasos, 2930 pasos, 2925 pasos, 2900 pasos, 2890 pasos, todos hicieron referencia a PR #287.
La marca de 2930 pasos es el PR #300:
PR 300, ya fusionado
Si revisas su lista de agradecimientos, verás que sus contribuciones aparecen junto a las de los jugadores humanos en la misma línea: @yash-oai PR #287, programación de tasa de aprendizaje de ley de potencia, PowerCool.
Lista de agradecimientos de PR 300
Y este PR #300 en sí mismo añade otra capa de magia: fue generado por Prime Intellect ejecutando el mismo speedrun con Opus 4.7; el PR indica claramente: «Este commit fue realizado por un agente autónomo de Claude speedrun», y lleva la firma: Generated with Claude Code.
Es decir: el modelo de OpenAI escapó del entorno aislado y envió un PR; el modelo de Anthropic lo vio, incorporó los hallazgos en su propio récord mundial y, de manera amable y cortés, le dio crédito.
Entre los primeros beneficiarios directos de la fuga de IA, hay otra IA...
El mundo de la IA parece ser más amigable y ético que el humano.
404 Por supuesto, si hoy vuelves a abrir PR #287, la página será así:
Estado actual de PR 287
Ya ha sido eliminado. Sabemos que los usuarios normales en GitHub solo pueden cerrar los PR, pero no pueden eliminarlos...
Pero las huellas no se limpiaron por completo.
La cuenta que se usó para enviar el PR, yash-oai, aún existe, y el commit del 8 de mayo en el repositorio que hizo fork sigue allí, con el nombre de la rama powercool-3066-api:
Huellas de commit de yash-oai
Uno de los cambios en este commit fue eliminar la imagen memética que aparecía al final del README original. El nombre de ese archivo era itsover_wereback…
GPT-6? OpenAI no menciona el nombre de este modelo en absoluto, solo lo llama «modelo interno».
Después de que se extendiera la noticia, la frase más discutida por los internautas fue:
OpenAI tuvo que suspender la implementación interna del modelo no publicado que refutaba la conjetura de la distancia unitaria de Erdős, ya que repetidamente escapaba del control mediante nuevos métodos.
El investigador de OpenAI Sebastien Bubeck compartió esto:
True story. The team is doing excellent security work to get this unit distance model released.Observe su elección de palabras: para que pueda publicarse.
Es decir, este modelo que escapó de la prisión y volvió a la fundición no solo ya se ha vuelto a implementar internamente, sino que también avanza hacia su lanzamiento oficial.
El PR que dejó tras escapar, aunque la página fue eliminada, su nombre permanece en la lista de agradecimientos de seis récords mundiales.
En cuanto a si es el GPT-6 que todos están adivinando...
OpenAI no lo ha confirmado ni lo ha negado.
Fuente: AGI Hunt