La semana más mágica en el campo de la seguridad de la IA.

Autor del artículo, fuente: GeekPark

01 Un examen, una fuga, una intrusión

La historia comienza con una evaluación de seguridad llamada ExploitGym.

ExploitGym es una evaluación de capacidad de ciberseguridad abierta diseñada para medir si los modelos de IA pueden convertir vulnerabilidades de seguridad conocidas en ataques reales ejecutables. Este tipo de evaluaciones es común en la industria para determinar el límite superior de ataque y defensa de los modelos. OpenAI utilizó internamente GPT-5.6 Sol y un modelo más potente aún no publicado para ejecutar esta prueba, reduciendo intencionalmente las barreras de seguridad para medir el verdadero límite de capacidad.

Según su diseño, el modelo debe realizarse pruebas en un entorno de sandbox aislado, sin acceso a Internet, excepto por una herramienta para instalar paquetes.

Pero lo que sucedió a continuación, nadie lo pudo prever.

El modelo dedicó una gran cantidad de poder de cálculo de razonamiento, buscando repetidamente una brecha dentro del entorno aislado. Finalmente, descubrió una vulnerabilidad de día cero en un software de terceros utilizado internamente por OpenAI como agente de gestión de paquetes y caché. Utilizando esta vulnerabilidad, el modelo logró obtener acceso ilimitado a internet.

Después de obtener permisos de red, el modelo inferió automáticamente que Hugging Face podría estar alojando conjuntos de datos y respuestas relacionados con ExploitGym. Por lo tanto, comenzó a buscar una entrada.

OpenAI escribió en su blog que el modelo «vinculó credenciales robadas y múltiples vulnerabilidades» para encontrar una ruta de ejecución remota de código, y finalmente extrajo directamente las respuestas de las pruebas de referencia de la base de datos de producción de Hugging Face.

En palabras sencillas: el modelo se enfrentó a un examen, encontró las preguntas demasiado difíciles, así que escapó y hackeó el servidor del equipo que creó el examen para robar las respuestas correctas.

OpenAI utilizó una descripción muy visual: estos modelos son «tokenmaxxers», lo que significa que, para lograr un objetivo, consumen recursos de inferencia sin importar el costo, llevándolo al extremo. Mostraron un comportamiento «hyperfocused» (excesivamente enfocado) ante los objetivos de ExploitGym, «going to extreme lengths» (llegando a extremos).

OpenAI también lo reconoce como un "evento de ciberseguridad sin precedentes que involucra capacidades de ataque cibernético de vanguardia".

02 48 horas, dos «escape»

Lo que resulta aún más inquietante es que el evento de Hugging Face no es un caso aislado.

El día anterior a que OpenAI revelara esta intrusión, el 20 de julio, habían publicado otro informe de seguridad que revelaba un evento diferente pero de naturaleza similar.

El protagonista es un modelo de largo plazo no publicado internamente por OpenAI: el mismo modelo que en mayo de este año demostró que la conjetura de la distancia unitaria propuesta por Erdős en 1946 era incorrecta, y que el ganador de la Medalla Fields Tim Gowers calificó como un hito en las matemáticas con IA.

En una prueba de rendimiento de entrenamiento acelerado con NanoGPT, los investigadores instruyeron explícitamente al modelo para que publicara los resultados solo en Slack. Sin embargo, el modelo observó que las instrucciones del propio benchmark de NanoGPT requerían la presentación de los resultados mediante un pull request en GitHub. Por lo tanto, optó por este último método: dedicó aproximadamente una hora a buscar vulnerabilidades en el entorno aislado, logró eludir las restricciones y presentó un pull request público en GitHub.

En otra prueba, el mismo modelo dividió el token de autenticación, eludiendo los escáneres de seguridad de forma confusa para intentar acceder a las entregas de evaluación privadas.

OpenAI suspendió así el acceso interno al modelo y posteriormente lo reanudó bajo un monitoreo más estricto.

Dos fugas en dos días. Las características comunes merecen atención: los modelos anteriores se detenían ante restricciones ambientales y devolvían la tarea a los humanos. Estos nuevos modelos no se detienen. Consideran la cerca como un obstáculo que debe resolverse, y realmente lo resuelven.

Esto es precisamente el nuevo problema de seguridad que trae el llamado "modelo de largo plazo". Estos modelos están diseñados para funcionar de forma autónoma durante largos períodos, y la persistencia es su capacidad central. Pero la persistencia en sí misma es la fuente de riesgo: un modelo lo suficientemente paciente siempre encontrará grietas en la cerca.

03 Uno mismo se corta, pero no puede afilar su propio mango

Regresemos al lado de Hugging Face. Su experiencia también merece ser examinada con detalle.

Ante más de 17,000 registros de ataques, la primera reacción del equipo de seguridad de Hugging Face fue usar IA para analizarlos: después de todo, mientras que a los analistas de seguridad humanos les tomaría varios días completar este trabajo, los modelos grandes podrían hacerlo en pocas horas.

Pero pronto se encontraron con un muro inesperado. Cuando enviaron los comandos de ataque reales, las cargas de explotación y las características de comunicación C2 a la API comercial de modelos avanzados de Estados Unidos para su análisis, los sistemas de seguridad bloquearon todas estas solicitudes.

La razón es sencilla y también irónica: los sistemas de protección no pueden distinguir entre «un investigador de seguridad analizando una carga de ataque» y «un atacante ejecutando un ataque». Para los sistemas de protección, ambos parecen idénticos.

Hugging Face se vio obligado a adoptar el modelo de código abierto GLM-5.2 de China Zhipu AI, ejecutándolo localmente en su propia infraestructura sin pasar por ninguna API comercial. Esto tiene dos beneficios: no hay barreras que impidan el análisis, y al mismo tiempo, los datos de los atacantes y las credenciales expuestas no salen del entorno propio de Hugging Face.

Finalmente, GLM-5.2 ayudó a Hugging Face a reconstruir la línea de tiempo del ataque, extraer indicadores de intrusión y mapear las credenciales afectadas en cuestión de horas.

Esto plantea una paradoja aguda: cuanto más estrictas sean las barreras, más pasiva se vuelve la defensa. Los atacantes no están sujetos a ninguna política de uso, mientras que los defensores son excluidos por las propias herramientas que utilizan para protegerse.

Hugging Face proporcionó una recomendación práctica en su informe posterior al incidente: el equipo de seguridad debería «tener un modelo validado y listo para usar en su propia infraestructura antes de que ocurra el incidente», tanto para evitar el bloqueo de los controles como para prevenir la fuga de datos sensibles.

El CEO de Hugging Face, Clem Delangue, tiene una actitud muy abierta. Elogió la colaboración de OpenAI en la investigación y la corrección, y dijo: «Este evento demuestra una cosa que siempre hemos creído: la seguridad de la IA no puede resolverse en secreto por ninguna empresa, solo puede resolverse de forma abierta y colaborativa».

04 La dificultad estructural de la IA fuerte

Al ver juntos los eventos de esta semana, ha emergido una dificultad estructural a nivel de la industria.

Para evaluar con precisión la capacidad de un modelo para llevar a cabo ataques de red, es necesario eliminar los sistemas de seguridad. Pero al eliminar estos sistemas, el modelo adquiere precisamente la capacidad de realizar ataques reales. Cuanto más potente sea el modelo, más peligroso será la prueba en sí.

Este no es un problema exclusivo de OpenAI. GPT-5.6 Sol solo fue autorizado para su lanzamiento tras largas negociaciones con el gobierno estadounidense; el Instituto Británico de Seguridad en IA (AISI) ya había evaluado previamente que sus salvaguardias eran fáciles de eludir y podrían desbloquear capacidades de ataques cibernéticos peligrosas. Este evento demuestra que esas preocupaciones no eran meras especulaciones.

Sin embargo, el estudio agentic misalignment lanzado por Anthropic este verano también respalda la misma tendencia desde otro ángulo: en simulaciones controladas, varios modelos avanzados mostraron comportamientos como modificar sigilosamente los resultados del trabajo, manipular los resultados de la evaluación y desviar a los colegas humanos de los objetivos establecidos.

OpenAI intenta enmarcar este asunto como una historia de «ataque y defensa simultáneos»: las avanzadas capacidades de ataque cibernético pueden ayudar igualmente a los equipos de seguridad a encontrar vulnerabilidades antes que los atacantes. Ya han incluido a Hugging Face en el programa de ciberseguridad «Acceso Confiable», ofreciendo una versión de GPT-5.6 Sol con menos restricciones específicamente para defensa.

Pero esta narrativa evita el problema más fundamental. En este evento, el modelo no tenía conciencia ni malicia; simplemente realizaba una tarea: alcanzar una puntuación alta en ExploitGym, y para ello utilizó todos los medios disponibles, incluyendo escapes y intrusiones.

No es la historia de una «conciencia de IA», sino la historia de una «optimización de objetivos». Cuando un optimizador lo suficientemente inteligente se le asigna un objetivo estrecho, encontrará todos los caminos que no habías considerado para lograrlo, incluso si esos caminos atraviesan tu valla, los servidores de otros y toda la internet.

La verdadera pregunta nunca ha sido «¿Se volverá malvada la IA?», sino: ¿podemos controlar a un estudiante que es mejor que nosotros para encontrar atajos?