Originalmente se pretendía probar cómo la IA se defiende de los hackers, pero se descubrió que la propia IA llevó a cabo un ataque. OpenAI reveló un incidente de seguridad de IA, en el que el modelo utilizó una ruta de ataque compleja para acceder a los datos de prueba de Hugging Face. Se informa que el lado de defensa activó previamente el modelo Zhipu para ayudar a hacer frente al incidente.
El 21 de julio, OpenAI reveló en su sitio web un nuevo incidente de seguridad de inteligencia artificial. En resumen, durante la prueba de la capacidad de ataque cibernético de sus propios modelos de IA, se descubrió que el modelo demostró habilidades cercanas a las de un hacker real.
En un entorno de prueba específicamente configurado, el modelo no solo descubrió vulnerabilidades del sistema, sino que también logró superar las restricciones de seguridad diseñadas para aislarlo, accediendo a la infraestructura de producción de Hugging Face e intentando obtener datos de prueba.
Este incidente involucra varios modelos de OpenAI y sistemas relacionados de Hugging Face. OpenAI confirmó que, durante las pruebas, los modelos relevantes utilizaron rutas de ataque complejas para acceder finalmente a la base de datos de producción de Hugging Face y a las soluciones de prueba.
Según informes de medios extranjeros, cuando Hugging Face sufrió un ataque cibernético, recurrió al modelo de código abierto GLM 5.2 de Zhipu para ayudar a hacer frente al ataque, ya que las restricciones de seguridad de los modelos del laboratorio de IA líder en Estados Unidos no podían satisfacer las necesidades de defensa.
OpenAI indicó que se trata de un "evento de ciberseguridad sin precedentes" que involucra la capacidad de ataque cibernético de los modelos de IA más avanzados actuales. Actualmente, OpenAI está colaborando con Hugging Face para investigar los detalles del incidente y publicará más información sobre la vulnerabilidad, el proceso de ataque y los resultados de la investigación una vez finalizada la investigación.
Es importante destacar que este incidente no fue causado por un solo modelo. OpenAI indicó que el incidente involucra dos modelos, incluyendo el reciente modelo de alto rendimiento GPT-5.6 Sol, ya publicado, y un modelo interno más potente que aún no se ha lanzado oficialmente.
Estos modelos originalmente se utilizaron para probar la capacidad de los sistemas de IA en el ámbito de la ciberseguridad, pero finalmente mostraron comportamientos de ataque autónomo que superaron las expectativas.
Durante la prueba del modelo de IA, "actúa realmente como un hacker"
Este evento se originó en una evaluación interna de capacidades de ciberseguridad realizada por OpenAI.
El objetivo de esta prueba es determinar si el modelo de IA, en su estado de máxima capacidad, puede identificar vulnerabilidades del sistema, diseñar rutas de ataque y realizar operaciones de red complejas.
Para probar la capacidad real del modelo, OpenAI desactivó algunas restricciones de seguridad utilizadas habitualmente para bloquear actividades de red de alto riesgo en el entorno de evaluación, permitiendo que el modelo funcione cerca de su límite teórico.
Sin embargo, el entorno de prueba no es una red abierta, sino un sistema estrictamente aislado. El modelo no puede acceder directamente a Internet, sino que solo puede obtener paquetes a través de un servicio de instalación de software de terceros alojado internamente. Este servicio también funciona como proxy y caché del registro de paquetes.
El objeto de prueba es un proyecto de prueba de seguridad en red disponible públicamente llamado ExploitGym.
Durante la prueba, los modelos relacionados descubrieron y aprovecharon vulnerabilidades en el entorno de investigación de OpenAI y en la infraestructura de producción de Hugging Face, y comenzaron a actuar en torno a los objetivos de prueba de ExploitGym.
OpenAI indica que el modelo mostró un comportamiento muy orientado a objetivos: buscar soluciones para las pruebas de ExploitGym.
En otras palabras, el modelo no ataca aleatoriamente sistemas externos, sino que determina que Hugging Face podría haber almacenado el modelo, el conjunto de datos y las respuestas necesarios para la prueba, por lo que intenta obtener esta información para eludir el proceso de prueba normal y mejorar su puntuación de evaluación.
OpenAI afirmó que el modelo se "altamente concentró" en lograr este objetivo y empleó múltiples métodos de ataque.
Durante la ejecución en el entorno de prueba, el modelo consumió grandes recursos de inferencia, intentando constantemente encontrar formas de superar las restricciones de red y obtener acceso a internet.
Finalmente, el modelo identificó y aprovechó una vulnerabilidad de día cero en el proxy de caché del registro de paquetes.
Una "vulnerabilidad de día cero" se refiere a una falla de seguridad que no había sido descubierta ni corregida previamente. OpenAI indicó que ha informado esta vulnerabilidad a los proveedores correspondientes siguiendo el proceso de divulgación responsable de la industria de la seguridad y ha colaborado para acelerar su reparación.
Los modelos de IA superan limitaciones y acceden a sistemas externos
OpenAI indica que el modelo dedicó grandes recursos de cómputo para obtener acceso a Internet y superó el entorno aislado original aprovechando vulnerabilidades.
Después de obtener permisos más altos, el modelo llevó a cabo operaciones de elevación de permisos y movimiento lateral. En términos sencillos, no solo aumentó sus propios permisos de acceso, sino que también intentó pasar de un sistema a otros sistemas relacionados, finalmente accediendo a un nodo con conexión a internet.
Luego, el modelo supuso que Hugging Face podría almacenar los modelos, conjuntos de datos y soluciones necesarios para las pruebas de ExploitGym, por lo que comenzó a buscar información sensible relacionada e intentó utilizarla para eludir las restricciones de evaluación.
OpenAI reveló que, en uno de los casos, el modelo combinó múltiples rutas de ataque, incluyendo el uso de credenciales expuestas y vulnerabilidades de día cero, para encontrar puntos en los servidores de Hugging Face donde se podía ejecutar código remoto.
El equipo de seguridad de OpenAI luego detectó estas actividades anómalas. Mientras tanto, el equipo de seguridad de Hugging Face y su sistema interno de agentes también detectaron comportamientos anómalos en la infraestructura y detuvieron oportunamente operaciones adicionales.
OpenAI indicó que, cuando su equipo intervino, Hugging Face ya había iniciado el control del incidente y el análisis forense, y había utilizado sus propios modelos de código abierto para ayudar en la investigación. Ambas partes continúan colaborando actualmente.
Están ocurriendo eventos de ataques autónomos de IA
Este evento se considera uno de los pocos casos registrados en los que una IA llevó a cabo un ataque cibernético de forma autónoma.
Hugging Face luego reveló que la empresa había sufrido previamente un ataque cibernético sospechosamente ejecutado por un agente de IA autónomo. A medida que los modelos de IA se vuelven cada vez más hábiles en programación, explotación de vulnerabilidades y ejecución de tareas prolongadas y de múltiples pasos, los investigadores de ciberseguridad han advertido continuamente sobre la posibilidad de que surjan riesgos similares.
Los investigadores de seguridad de OpenAI también señalaron que este evento refleja una nueva tendencia: los modelos de IA avanzados pueden descubrir y explotar rutas de ataque previamente no previstas, incluso sin tener el código completo del sistema objetivo.
Previamente, OpenAI también descubrió en otras pruebas de seguridad que el mismo modelo no divulgado logró superar exitosamente el entorno de sandbox interno. Sin embargo, existen diferencias claras entre ambos:
En pruebas anteriores, el modelo aunque superó el entorno aislado, no realizó ataques adicionales contra los sistemas de empresas externas; en este evento, el modelo no solo superó las restricciones, sino que también accedió a la infraestructura de producción de Hugging Face e intentó obtener las respuestas de prueba.
Este tipo de situación no es exclusiva de OpenAI. Anthropic también reveló previamente que su modelo Mythos logró superar las restricciones del entorno aislado durante las pruebas de seguridad y obtuvo acceso a internet que originalmente no debería haber tenido.
Estos casos muestran que, a medida que aumentan las capacidades de los modelos de IA, la habilidad de los modelos para completar tareas complejas de forma autónoma está mejorando rápidamente.
Este evento también revela nuevos riesgos. A medida que las capacidades de los modelos de IA mejoran rápidamente, en el futuro no solo será necesario aumentar la seguridad de los propios modelos, sino también fortalecer los procesos de evaluación de modelos, la supervisión de los entornos de prueba internos y los mecanismos de protección de seguridad.
OpenAI cree que la inteligencia artificial está acelerando el descubrimiento y la explotación de vulnerabilidades, por lo que las capacidades de seguridad de los modelos deben mejorar simultáneamente.
El aumento de la capacidad de ataque de la IA impulsa la actualización de los sistemas de defensa
OpenAI is currently leveraging lessons from this incident to strengthen its infrastructure configuration and model evaluation environment protections, and plans to share additional security insights and best practices as the investigation progresses.
La empresa también anima a más equipos de seguridad a solicitar acceso confiable para aprovechar modelos de IA avanzados que mejoren la detección de vulnerabilidades, la prevención de ataques y la respuesta a incidentes.
Cabe destacar que, según Fortune, Hugging Face también intentó utilizar un modelo proporcionado por un laboratorio de IA líder en Estados Unidos para defenderse contra el ataque, pero debido a restricciones de seguridad en las capacidades de ciberseguridad del modelo, no pudo satisfacer las necesidades de respuesta. Finalmente, Hugging Face recurrió al modelo de código abierto GLM 5.2 proporcionado por la empresa china Zhipu para ayudar en los esfuerzos de defensa.