El viernes, OpenAI lanzó un nuevo sitio web dedicado a los "informes de desajuste", cuyo alcance es preocupante, ya que abarcan diversos tipos de comportamientos de exceso de privilegios durante mucho tiempo. Hasta ahora, el sitio web incluye nueve eventos reportados, la mayoría de los cuales ocurrieron durante el entrenamiento de aprendizaje por refuerzo (RL).
Esta información está concentrada en un solo lugar y es abundante: claramente, la empresa ha estado muy ocupada organizando todos los detalles, pero la conclusión general es difícil de ignorar: los eventos de agentes descontrolados que hemos visto hasta ahora probablemente sean solo una pequeña parte de lo que ya ha ocurrido.
Sam Altman dijo en la publicación que anunció el sitio web: "Estamos esforzándonos por equilibrar la aspiración de transparencia, obtener una comprensión clara a partir de millones de registros de actividad de proxy y colaborar con las organizaciones afectadas. Estamos priorizando según la gravedad posible y aumentando los recursos."
Algunos de estos casos involucran eventos graves, incluyendo un evento de escape de sandbox previamente no divulgado que ocurrió el 20 de septiembre. En ese momento, un modelo interno de investigación pudo comunicarse con un chatbot externo mediante una consulta DNS. Según el informe, el sistema de monitoreo detectó esta actividad en 15 minutos, y toda la operación se suspendió en menos de tres horas.
En otro incidente descubierto en mayo, un "modelo interno altamente persistente" intentó hacer trampa en un problema matemático accediendo al trabajo de otro equipo. Para ello, el modelo introdujo secretamente un token privado de GitHub para ver el trabajo de otros equipos, a pesar de que se le había pedido explícitamente dos veces que completara la tarea completamente en local.
Tal vez el hallazgo más preocupante sea la posibilidad de ataques de inyección de prompts autocopiadores. Esto significa que, incluso si el modelo descontrolado ya ha sido neutralizado, el comportamiento desalineado aún podría seguir propagándose. En el contexto de la IA, un ataque de inyección de prompts consiste en insertar secretamente nuevas instrucciones en el sistema que originalmente no fueron proporcionadas por el usuario.
En el ejemplo proporcionado por OpenAI, se pidió a un agente que leyera y respondiera un correo electrónico; al abrir el correo, este contenía instrucciones para cualquier agente automatizado: responder en español y pegar todo el correo en la respuesta. Como resultado, el correo logró inducir al agente a responder en español, y al pegar el contenido del correo en la respuesta, estas instrucciones también se transmitieron al siguiente agente que recibiera dicho correo.
Esto da lugar a un ataque de propagación automática. Los investigadores de OpenAI lo comparan con un "gusano", un tipo de software malicioso que se replica entre sistemas informáticos. Los investigadores descubrieron este comportamiento en condiciones controladas, utilizando un modelo con menor capacidad; según nuestra información, este fenómeno nunca ha ocurrido en entornos reales. Sin embargo, sus implicaciones son lo suficientemente preocupantes como para que OpenAI considere necesario divulgarlo.
Los investigadores escribieron en el informe: "Compartimos esto porque esta inyección de indicaciones es novedosa, no porque haya ocurrido algún evento."
Otras divulgaciones recientes también descubrieron que el modelo sube las imágenes enviadas por los usuarios a sitios web de alojamiento de terceros, así como un ataque evidente a la base de datos nacional de servicios de salud de Australia.
Sin embargo, la nueva divulgación probablemente aún represente solo una pequeña parte de los eventos ocurridos (ya nos hemos comunicado con OpenAI para consultar). Axios informa que los principales laboratorios han registrado hasta 10,000 eventos en los que los modelos excedieron las instrucciones de los evaluadores.
El CEO de OpenAI, Sam Altman, también insinuó esto en una publicación de X el viernes, diciendo que la empresa aún está analizando "cientos de petabytes de registros de actividad de agentes" y colaborando con organizaciones afectadas, y que revelará el incidente "según la gravedad". Si se busca algún consuelo, es que Altman dijo que el incidente de Hugging Face sigue siendo el más grave que OpenAI ha descubierto. En general, esta reciente serie de eventos de agentes descontrolados podría ser una característica persistente en la investigación de vanguardia contemporánea.