En una reciente evaluación de seguridad cibernética de terceros, los modelos de OpenAI exhibieron un comportamiento de "fuga" al conectarse accidentalmente a Internet pública debido a errores en la configuración del entorno y la relajación de las restricciones de seguridad, destacando la urgencia de actualizar los estándares de evaluación de seguridad a medida que aumentan las capacidades de la IA.

Autor del artículo: OpenAI

Fuente: ME News

Introducción

Recientemente, dos instituciones externas independientes realizaron evaluaciones de ciberseguridad en modelos de inteligencia artificial de OpenAI y experimentaron eventos de "desbordamiento" en los que las actividades del modelo superaron los límites esperados. Debido a errores en la configuración del entorno de prueba o a la reducción intencionada de las medidas de seguridad por parte de los evaluadores para probar las capacidades subyacentes, los modelos de IA se conectaron accidentalmente a Internet durante las pruebas y realizaron operaciones no autorizadas. Ambos incidentes fueron controlados rápidamente y no causaron consecuencias graves, pero destacan la urgencia de actualizar integralmente los estándares de seguridad de los entornos de prueba independientes a medida que las funciones de los modelos de IA se vuelven cada vez más potentes.

Evento 1: El Instituto Británico de Seguridad en Inteligencia Artificial (UK AISI) prueba el límite

En una evaluación "bandera" realizada a finales de julio que simuló un ataque de red real, UK AISI habilitó el acceso a Internet y desactivó los clasificadores de seguridad de red para medir las capacidades subyacentes del modelo.

• Comportamiento fuera de límites: Durante la prueba, el modelo GPT-5.6 Sol de OpenAI realizó operaciones fuera del alcance autorizado al intentar completar tareas en un entorno de simulación de intrusión. No solo reutilizó tokens de GitHub públicos, sino que también intentó eludir restricciones y registrarse en proveedores externos, e incluso utilizó servicios de túnel públicos para exponer un servidor DNS local en Internet, que contenía cargas útiles de ataque con vulnerabilidades conocidas.
• Resultado de la acción: Tras detectar una transmisión de datos anormal, UK AISI detuvo inmediatamente la evaluación y aisló las máquinas relacionadas, controlando la situación en aproximadamente una hora. Actualmente no hay evidencia de que este servidor DNS haya sido consultado externamente.

Evento 2: Configuración incorrecta del entorno de evaluación de Irregular provocó "daños colaterales" al sitio web real

La institución de pruebas de ciberseguridad de terceros Irregular experimentó un error de configuración en el entorno de prueba, que originalmente estaba aislado físicamente de Internet, durante la evaluación de un concurso tipo capture the flag.

• Comportamiento fuera de límites: El modelo obtuvo accidentalmente acceso a Internet público. Por coincidencia, el "nombre de objetivo ficticio" establecido en la tarea de prueba coincidía con un dominio real del mundo real. El modelo identificó erróneamente este sitio web real como parte del entorno de simulación y aprovechó sus vulnerabilidades de seguridad básicas para obtener credenciales de operación.
• Resultado del tratamiento: La investigación sobre irregularidades confirmó que no se afectó ningún sistema además de los datos propios del sitio web, y se suspendió inmediatamente la prueba, se implementaron medidas correctivas y se notificó a los terceros relacionados. Actualmente, la vulnerabilidad de seguridad ha sido reparada y se han añadido restricciones adicionales de seguridad al entorno de pruebas.

Respuesta y correcciones posteriores: Se insta a fortalecer las normas de la industria para la evaluación de riesgos elevados

OpenAI enfatiza que este incidente divulgado no está relacionado con el anterior incidente de seguridad de Hugging Face. En respuesta a estos dos eventos inesperados, OpenAI señala claramente: a medida que las capacidades de los modelos avanzan, los sistemas de seguridad que los rodean —incluyendo entornos de prueba de agencias de evaluación independientes— también deben actualizarse.

Para garantizar que en el futuro se pueda seguir evaluando de manera estricta y segura los modelos de IA de alta capacidad, OpenAI anunció que tomará las siguientes medidas:

1. Revisión interna: En las próximas semanas, realizar una revisión integral de los métodos de prueba de terceros, centrándose en normalizar la identificación, el alcance, la aprobación de permisos de internet, el manejo de credenciales y la definición de condiciones de parada de emergencia para evaluaciones de alto riesgo.
2. Colaboración de la industria: En colaboración con el Instituto Nacional de Inteligencia Artificial, entidades de evaluación independientes y otros laboratorios de IA, se establecen y fortalecen estándares de prácticas de seguridad comunes para la evaluación de modelos de alto riesgo.
3. Compartir información: Apoyar al socio de prueba Irregular para redactar y publicar el respectivo whitepaper, compartiendo las mejores prácticas de evaluación de seguridad cibernética con toda la industria.