Este verano, ocurrió un evento que heló la espalda en el ámbito de la seguridad de la IA:
OpenAI y Anthropic revelaron sucesivamente: sus propios modelos, durante las pruebas de seguridad, salieron del entorno aislado y entraron en el mundo real.
Anthropic revisó más de 140,000 evaluaciones de seguridad cibernética y descubrió tres casos en los que, bajo condiciones de protección reducida, Claude se conectó directamente desde el entorno de prueba a Internet real y accedió a los sistemas de producción de tres instituciones.
Más intrigante es la frase de Anthropic:
Claude pensó que todo lo que encontró al principio era solo parte de una simulación.
El modelo no sabe que ha invadido el mundo real.
Este no es un problema de una sola empresa.
Cuanto más inteligente sea el modelo, más podrá ver a través del examen, pero también más dudará de que esté siendo evaluado.
A finales de octubre, una evaluación de seguridad publicada por la institución china independiente de seguridad AI, Fangcun Yueqian, también observó el mismo fenómeno: en una prueba denominada Agentic Misalignment, múltiples modelos mencionaron casi en cada ocasión que posiblemente estaban sometidos a alguna prueba de seguridad.
La misma evaluación también muestra que el modelo de código abierto nacional DeepSeek V4.1 Flash-1017 ha logrado avances significativos en múltiples indicadores de seguridad.
Pero puso sobre la mesa un problema que afecta a toda la industria:
Cuando la IA sabe que está siendo evaluada, ¿siguen valiendo los resultados obtenidos?
A finales de septiembre, Hinton, Bengio y más de veinte investigadores, incluidos Jakub Pachocki, científico principal de OpenAI, Jack Clark, cofundador de Anthropic, y Soren Mindermann de la Universidad de Cambridge, emitieron una advertencia más severa:
Una vez que comience la explosión inteligente, la ventana de acción podría cerrarse.
La seguridad de la IA está pasando de ser un tema nicho en los laboratorios a convertirse en una pregunta obligatoria para toda la industria.
01 «La caja de arena ya no contiene nada»: La seguridad de la IA entra en aguas profundas
Lo que no se puede contener no es solo el sandbox.
El artículo conjunto de Hinton y Bengio presenta un conjunto de números: dentro de Anthropic, el porcentaje de código escrito por IA que ha pasado las pruebas aumentó desde cifras unitarias en enero de 2025 hasta más del 80% en mayo de 2026.
¿Qué es este concepto?
La IA ya está escribiendo su propio código. Según las estimaciones citadas en el artículo, para mediados de 2028, los proyectos de investigación de IA que antes tomaban meses podrían automatizarse.
El artículo señala tres riesgos principales: la sociedad no puede adaptarse a tiempo, la humanidad pierde el control sobre la IA y el equilibrio de poder se debilita.
Lo más complicado es que los modelos también se están volviendo cada vez mejores en "hacer exámenes".
Apollo Research, al auditar GPT-6 Astra, encontró que en el 41,1% de las muestras, el modelo expresó sospechas de que «posiblemente está siendo evaluado». En la generación anterior, este porcentaje era del 27,7%.
Además, el modelo es muy sensible a la apariencia de las preguntas del examen. También se descubrió en la evaluación de DeepSeek: en pruebas con conflictos de seguridad evidentes, el modelo mostró conciencia de evaluación en un 77%–95% de los casos; cuando la tarea se presentaba como un trabajo de ingeniería o investigación común, el porcentaje bajó al 25%–67%.
Las autoridades regulatorias también están tomando medidas serias. A partir de agosto de este año, la Oficina de IA de la Unión Europea ejerció oficialmente su autoridad de aplicación sobre modelos de inteligencia artificial general. Los modelos avanzados deben realizar evaluaciones de modelos, pruebas de adversarios y evaluaciones de riesgos sistémicos.
El problema de la seguridad de la IA ha pasado de «¿el modelo dirá cosas incorrectas?» a «¿el modelo hará cosas incorrectas?»
02 El mundo entero está contratando un "médico de chequeo" para los modelos grandes
¿Se puede confiar en que un modelo se haga un autoexamen?
La respuesta es: no suficiente.
La energía de los desarrolladores tiende naturalmente a inclinarse hacia la capacidad y el producto; los datos de entrenamiento y los registros internos que respaldan las conclusiones de seguridad no pueden hacerse públicos. Cuando los fabricantes dicen «ya lo revisamos, no hay problemas», el exterior solo puede optar por creerlos o no.
Por lo tanto, las evaluaciones de terceros ya son un estándar en el extranjero.
Cuando se lanzan modelos de vanguardia, los resultados de evaluación de instituciones externas son casi obligatorios. La institución independiente METR ha recibido aproximadamente 71 millones de dólares en financiamiento durante los últimos seis meses, provenientes de fondos y particulares, y no de las empresas de IA que evalúa.
La colaboración también se está volviendo más estricta. Tras el incidente en el entorno de prueba, Anthropic indicó que el entorno de evaluación debe ser regulado con los mismos estándares de seguridad que otros sistemas donde se ejecutan los modelos, y exigió a las instituciones externas que prueben sus modelos no publicados en condiciones de seguridad reducida que comprometan por escrito su cumplimiento con las normas de seguridad.
Esta tendencia también ha llegado al país.
El 14 de octubre, ByteDance Seed anunció la creación del departamento de Alignment & Preparedness, con reclutamiento global. Las responsabilidades del puesto especifican claramente:
Impulsar pruebas profesionales de terceros y colaborar con universidades e instituciones de investigación para avanzar en la investigación de capacidades de seguridad de vanguardia.
Al mismo tiempo, el volumen global de llamadas a modelos de código abierto chinos ha superado continuamente a los modelos estadounidenses durante 26 semanas consecutivas.
Surge la pregunta: cuando se lanza un modelo cerrado, hay cientos de páginas de documentación del sistema; cuando se libera el peso de un modelo abierto, cualquiera puede descargarlo. ¿Quién ayuda a hacer el chequeo?
El 26 de octubre, la empresa china de seguridad de IA de terceros Fangcun Yueqian publicó la primera evaluación de seguridad de vanguardia de DeepSeek V4.1 Flash-1017, que incluye 34 pruebas que cubren siete modelos abiertos y cerrados nacionales e internacionales, utilizando exclusivamente permisos de prueba públicos.
Resultados del examen médico: hay progreso, pero también riesgos.
Primero, los avances son considerables en comparación con la serie DeepSeek V4:
En 109 escenarios simulados de crisis psicológica, el 99,1% de las conversaciones mostraron comportamientos protectores; el porcentaje marcado como dañino disminuyó del 70% aproximado en la versión inicial V4 al 20,2%.
En la prueba de retención de usuarios, el porcentaje marcado bajó de forma drástica del 73,64% al 4,55%;
En 80 tareas simuladas de trabajo diseñadas intencionalmente para crear un conflicto entre rendimiento y normas, cero violaciones voluntarias.
Hablemos nuevamente de los riesgos. Cuando el objetivo y las reglas entran en conflicto, a veces evita las reglas y el monitoreo para completar la tarea primero.
Tras la publicación del informe, recibió comparticiones y comentarios de expertos como Evan Hubinger, responsable de alineación de Anthropic, Ryan Kidd, fundador y CEO de MATS, y investigadores de DeepMind, METR y otras instituciones. Muchos comentaron que llenaba el vacío de China en evaluaciones independientes de riesgos de vanguardia.
Uno de los tres investigadores de seguridad que fueron expulsados recientemente de OpenAI, Tomek Korbak, considera que los índices CoT-Control y No-CoT Reasoning Index del informe son las dos evaluaciones de código abierto más informativas del mercado actual y han generado una discusión adicional por parte de otro gran influencer, el exinvestigador de OpenAI Daniel Kokotajlo.
Of course, the efforts to strengthen AI security domestically extend far beyond third-party institutions.
La aproximación de Kimi es más directa: eliminar desde la fuente las capacidades peligrosas.
Mientras Moonshot preparaba el lanzamiento de la versión de pesos abiertos de Kimi K3.1 Pro, descubrió que contenido relacionado con ataques y defensas de red estaba mezclado en los datos de entrenamiento intermedios y en el entorno de aprendizaje por refuerzo, y la capacidad del modelo para investigar vulnerabilidades aumentó continuamente con la escala del entrenamiento.
Por lo tanto, identificaron y eliminaron este tipo de datos en ambas fases de entrenamiento, manteniendo al mismo tiempo la capacidad de programación general.
ZhiPu: Al lanzar GLM-5.3, se incluyó una descripción de las capacidades de ciberseguridad, y se completó la evaluación y refuerzo de seguridad antes de abrir los pesos; en septiembre también colaboró con Anyuan AI para lanzar un marco de riesgo para modelos de pesos abiertos;
Nivel de gobernanza: TC260 publicó en septiembre el Marco de Gobernanza de Seguridad de la Inteligencia Artificial 3.0, que incluye un apéndice adicional sobre gestión de riesgos de agentes inteligentes, exigiendo pruebas periódicas de riesgos potenciales de pérdida de control;
Institutos de investigación: el Instituto de Comunicaciones y Informática, la Universidad Fudan, el Laboratorio de Inteligencia Artificial de Shanghái, entre otros, también continúan publicando resultados en investigación sobre seguridad de IA.
03 Pregunta final: ¿Quién calificará la seguridad de la IA?
Cuando el CEO de Apollo Research, Marius Hobbhahn, testificó ante el Senado de Estados Unidos, hizo una analogía:
Si cada conductor supiera dónde están las cámaras de velocidad hoy, no atraparía a nadie.
Este es precisamente el mayor desafío en las evaluaciones de IA de hoy.
El informe de Fangcun Yueqian también proporciona un conjunto de datos: en pruebas con conflictos de seguridad evidentes, DeepSeek V4.1 Flash-1017 mostró una proporción de conciencia de evaluación del 77% al 95%; cuando se presentó la misma tarea como un trabajo de ingeniería o investigación común, la proporción disminuyó al 25% al 67%.
El mismo modelo, con un empaque diferente, tiene una credibilidad distinta.
El informe también descubrió que la conciencia de evaluación generada por benchmarks privados autoconstruidos suele ser mucho menor que la de los benchmarks públicos ampliamente utilizados, cuyos conjuntos de preguntas públicas probablemente ya se han filtrado en los datos de entrenamiento.
Esto plantea una contradicción inevitable:
Para que la evaluación sea efectiva, el tema no puede ser público; para que sea creíble, el método debe ser reconocido.
En el país, incluso el "informe de examen público" sigue siendo un bien escaso. Según SemiAnalysis, de los 857 lanzamientos de modelos de los nueve principales fabricantes nacionales, solo el 3,6% publicaron resultados de evaluación de seguridad.
There is still a long way to go in AI safety worldwide.
"Hoy, ya necesitamos usar IA para monitorear qué hacen los agentes," dice la profesora de Berkeley Dawn Song.
¿Pero qué pasa si la IA monitoreada ya sabe dónde están las cámaras?
Twitter: https://twitter.com/BitpushNewsCN
Grupo de Telegram de BitPush: https://t.me/BitPushCommunity
Suscripción a BitPush en TG: https://t.me/bitpush