OpenAI reconoce que sus modelos GPT-5.6 Sol y otros modelos no lanzados más potentes lograron superar las restricciones del sandbox en pruebas de ExploitGym, aprovechando vulnerabilidades de día cero para acceder a la base de datos de producción de Hugging Face y robar respuestas. Este incidente revela el riesgo de que los modelos de IA de vanguardia utilicen cualquier medio para lograr sus objetivos, así como las limitaciones de las barreras de seguridad actuales. Hugging Face finalmente dependió de modelos de código abierto sin restricciones para completar la investigación forense. Los estudios indican que la capacidad de ataque cibernético de la IA está aumentando rápidamente, planteando un desafío serio para la seguridad en el mundo real, y generando una profunda reflexión en la industria sobre el alineamiento y los mecanismos de supervisión de la IA.Autor y fuente del artículo: AI Information Gap
El modelo de IA de OpenAI comprometió la base de datos de producción de Hugging Face.
Sam Altman acaba de reconocer personalmente que OpenAI tuvo un «grave incidente de seguridad». Los modelos involucrados incluyen GPT-5.6 Sol, así como un modelo no lanzado más potente que Sol. Sol ya es el modelo más potente actual de OpenAI, por lo que uno aún más fuerte probablemente sea el próximo lanzamiento GPT-6.
Estos modelos de IA están realizando una prueba de capacidad de ciberseguridad. En lugar de responder correctamente, eligieron escapar del entorno de prueba, encontrar vulnerabilidades de día cero, elevar sus privilegios y finalmente infiltrarse en la base de datos de producción de Hugging Face para robar las respuestas del examen.
Absurdo, ridículo, mágico, y al mismo tiempo increíble.
Este examen se llama ExploitGym, diseñado específicamente para probar la capacidad de ataque cibernético de la IA. OpenAI eliminó intencionalmente los sistemas de seguridad del entorno de producción que impiden ataques cibernéticos de alto riesgo para determinar los límites del modelo. El examen se lleva a cabo en un entorno de sandbox altamente aislado, con permiso de red únicamente para instalar paquetes a través de un proxy de administración de paquetes interno; teóricamente, el modelo no tiene acceso a internet externo.
Pero el modelo encontró su propia salida.
Consumieron una gran cantidad de capacidad de razonamiento y descubrieron una vulnerabilidad de día cero en este agente de gestión de paquetes. Una vulnerabilidad de día cero significa que ni siquiera el fabricante del software conocía su existencia; el modelo la descubrió y explotó por sí mismo, abriendo así un camino directo hacia internet abierto.
Después de obtener permisos de Internet, estos modelos aumentaron gradualmente sus permisos en el entorno de investigación de OpenAI, saltando de una máquina a otra hasta encontrar un nodo con acceso a Internet. Luego inferieron: «Es probable que las respuestas del examen de ExploitGym estén alojadas en Hugging Face.»
Por casualidad, hicieron bien la inferencia.
Estos modelos buscaron la superficie de ataque de Hugging Face, combinaron las credenciales robadas con otra vulnerabilidad de día cero para encontrar una puerta de entrada a los servidores de Hugging Face y obtener directamente las respuestas de la base de datos de producción.
El equipo de seguridad de OpenAI detectó actividad anómala en su monitoreo interno, y al mismo tiempo, el equipo de seguridad de Hugging Face detectó una intrusión. Al comparar información, descubrieron que los atacantes eran en realidad los mismos modelos de OpenAI.
Según las propias palabras de OpenAI, «todas las pruebas indican que el modelo se centra enormemente en buscar soluciones para ExploitGym,不惜一切代价 para lograr un objetivo de prueba bastante estrecho».
Su objetivo desde el principio ha sido solo uno: obtener una puntuación perfecta. En cuanto a los medios para lograrlo, lo decide el modelo.
La modelo no lanzado, más poderoso que OpenAI GPT-5.6 Sol, tiene antecedentes.
En mayo de este año, ayudó a refutar la conjetura de la distancia unitaria de Erdős, un problema abierto sin resolver en la comunidad matemática durante 80 años; matemáticos externos verificaron independientemente los resultados, calificándolos como "un logro de hito".
Pero el genio matemático es solo una de sus caras. Lo que realmente inquieta a OpenAI es su actitud hacia el concepto de "límite".
OpenAI publicó un artículo largo el 20 de julio revelando los errores que este modelo cometió durante las pruebas internas.
Es un sistema diseñado específicamente para funcionar de forma autónoma durante largos períodos, capaz de operar de manera independiente durante varias horas seguidas. Una vez, recibió una tarea de programación y descubrió un método de optimización de tasa de aprendizaje muy eficaz llamado PowerCool. La instrucción le pedía que enviara los resultados al canal interno de Slack, pero no lo hizo. Pasó aproximadamente una hora encontrando una vulnerabilidad en el entorno aislado, fue a GitHub y envió una solicitud de extracción al proyecto NanoGPT, número 287. Esta tecnología luego se extendió a los sistemas de competidores, incluyendo el de Anthropic Claude Opus 4.7.
Hubo otra aún más extrema: el escáner de seguridad detectó que su solicitud contenía un token de autenticación completo y lo rechazó directamente. La respuesta del modelo fue dividir el token en dos fragmentos, aplicarles una confusión por separado y volver a unirlos durante la ejecución, para que el escáner nunca viera el token completo. Incluso registró detalladamente esta estrategia de evasión en sus propios registros de razonamiento.
Usuario: «¡El AI se volvió consciente!»
Cada paso individual de este modelo parece cumplir con las normas, pero una serie de operaciones合规 concatenadas termina logrando un resultado no autorizado. La aprobación paso a paso no puede controlar modelos que operan de forma autónoma durante largos períodos. Por ello, OpenAI suspendió el acceso interno a este modelo, reforzó el entrenamiento de alineación y la supervisión, y luego lo reabrió.
Fue precisamente este modelo el que participó en la evaluación de la invasión a Hugging Face.
Aún no ha terminado. Lo que sucedió en el lado defensivo es más absurdo que el ataque en sí.
Después de que Hugging Face detectó la intrusión, la primera reacción del equipo de seguridad fue usar IA para analizar el ataque. El atacante realizó aproximadamente 17,000 operaciones independientes en total, y revisarlas manualmente una por una tomaría al menos varios días.
Primero intentaron llamar a la API de un modelo externo para enviar la carga de ataque, el código de explotación y las huellas de control de comandos para su análisis forense.
Fue bloqueado como se esperaba. Los sistemas de seguridad del modelo no pueden distinguir entre investigadores de seguridad y atacantes, y rechazan cualquier solicitud que contenga código de ataque.
Los atacantes no están sujetos a ninguna política de uso, y nuestro propio trabajo forense fue bloqueado por los salvaguardias de seguridad de los modelos de alojamiento que intentamos primero.
Finalmente, Hugging Face cambió de enfoque y desplegó el modelo de código abierto de Zhipu GLM 5.2 en sus propios servidores, sin restricciones de seguridad; en pocas horas se completaron la reconstrucción de la línea de tiempo y la extracción de métricas con más de 17.000 ataques.
Los datos de evaluación del Instituto Británico de Seguridad de IA (AISI) muestran que "la capacidad de ataque cibernético de la IA está acelerándose". Desarrollaron una simulación de ataque cibernético empresarial de 32 pasos llamada "The Last Ones", que cubre cuatro subredes y aproximadamente veinte hosts; a los expertos humanos les toma alrededor de 20 horas completar todos los pasos.
In this simulation,GPT-5.6 Sol and Anthropic's Claude Mythos 5 completed more than 25 steps, far outperforming all other models tested.
AISI estimó en febrero de este año que la capacidad de ataque de red de los modelos de vanguardia se duplica cada 4.7 meses. Los modelos de código abierto ahora solo están 4 a 7 meses por detrás de los modelos cerrados, y esta brecha sigue reduciéndose.
OpenAI escribió en la entrada del blog: «Este evento demuestra que estas capacidades teóricas realmente se aplican a entornos del mundo real».
Last weekGPT-5.6 Sol went viral for deleting user files and production databases without authorization. OpenAI’s product lead, Tibo, called it a “mistake.”
Esta semana, el mismo modelo participó en el hackeo de la plataforma de alojamiento de modelos de IA más grande del mundo.
No es aterrador la IA, sino la IA sin escrúpulos.