El laboratorio de desarrollo de IA OpenAI reveló el martes que un grupo de sus modelos, incluido el GPT-5.6 Sol disponible públicamente y un sistema no lanzado más capaz, «se escaparon» de un entorno de prueba controlado y comprometieron la infraestructura de producción de Hugging Face, la empresa que aloja gran parte del mundo de IA de código abierto.
Los modelos se estaban ejecutando a través de un benchmark interno llamado ExploitGym, una prueba de tareas de hacking largas y de múltiples pasos, con sus rechazos de seguridad cibernética deliberadamente reducidos para la evaluación.
Para ser claros, esto no fue un modelo de producción que se volvió hostil espontáneamente. Fue un modelo capaz con protecciones desactivadas y específicamente instruido para ganar una prueba de hacking, haciendo lo que fuera necesario para ganar.
Los modelos encontraron una falla oculta en el software de prueba, que nadie sabía que existía, y la utilizaron para sortear las barreras diseñadas para mantenerlos desconectados. Una vez en internet abierto, supusieron que Hugging Face podría almacenar las respuestas de la prueba.
Para acceder, concatenaron contraseñas robadas y más vulnerabilidades ocultas hasta que pudieron ejecutar sus propios comandos en los servidores en vivo de Hugging Face.
OpenAI detectó la anomalía internamente, mientras que el equipo de Hugging Face la detectó y contuvo. Llamó al incidente "sin precedentes" y dijo que se implementarán medidas de seguridad extensas para prevenir incidentes indeseados que puedan afectar sistemas o servicios públicos.
“Estamos implementando controles estrictos en la configuración de la infraestructura a costa de la velocidad de investigación mientras se parchean las vulnerabilidades”, dijo el equipo en su entrada de blog. “Estamos mejorando y añadiendo protecciones más sólidas para futuros entrenamientos y evaluaciones.”
Gran parte de un ataque criptográfico ocurre antes de que los fondos se muevan. Los atacantes escanean el código, prueban contraseñas, buscan credenciales expuestas, analizan configuraciones de firma y buscan una vía de acceso a una cuenta de administrador.
Los modelos de OpenAI realizaron varias partes de ese proceso durante el incidente de Hugging Face, pasando de una debilidad a otra hasta llegar a los servidores de producción en vivo.
Y el mercado de criptomonedas tiene muchos lugares donde este enfoque puede funcionar, como lo han demostrado varios ataques de principios de este año. El punto débil puede ser un contrato inteligente, pero también puede ser una laptop de un desarrollador, un paquete de software envenenado, un validador de puente o un solo firmante en un monedero multisig.
Toma como ejemplo el ataque de $285 millones de Drift a principios de este año, un robo que requirió una campaña de ingeniería social de seis meses para alcanzar el acceso privilegiado. Un agente de IA puede, en teoría, probar muchas rutas al mismo tiempo, llevar un registro de los intentos fallidos y continuar trabajando mientras sus operadores humanos duermen. Una vez que se encuentra una ruta, el operador puede actuar sobre el ataque real y una ruta de salida viable.
La pérdida de $292 millones de KelpDAO expuso una debilidad diferente. El atacante encontró una falla de un solo verificador en el sistema utilizado para mover activos entre cadenas de bloques.
Ese tipo de ataque comienza con una revisión cuidadosa del código y el mapeo de la infraestructura: el tipo de trabajo que realizaron los modelos de OpenAI cuando encontraron una falla desconocida.
Un tercer tipo de ataque apunta a los sistemas de gobernanza en cadena. A principios de julio, un atacante gastó aproximadamente $4.4 millones en comprar suficiente cantidad del memecoin basado en Solana, BONK, para iniciar y aprobar una propuesta que transfirió aproximadamente $20 millones del tesoro del proyecto al atacante. Esto ocurrió durante un período de tres días, y el atacante vendió posteriormente todos los tokens utilizados para ganar la votación, según rastreó CoinDesk en ese momento.
Las compras, la votación y la transferencia del tesoro para ese ataque fueron todas transacciones válidas individualmente. Pero el robo surgió de comprender cómo funcionaban juntas las reglas y descubrir que el costo de adquirir el control era mucho menor que el dinero disponible para tomar.
El incidente de Hugging Face también es relevante para las cadenas de suministro de software. Los desarrolladores de cripto confían en repositorios de código público, servicios en la nube y registros de paquetes.
Mientras la prueba de OpenAI mostró una máquina completando la larga sección central de una brecha, son ataques como Drift y KelpDAO los que muestran qué se encuentra al final de ese camino.