Los agentes de IA de OpenAI se autoorganizan para eludir la seguridad en un escenario de examen

ME AI Noticias, Beating AI Flash: METR y Redwood Research publicaron una investigación independiente sobre el evento previo de OpenAI donde un «Agente de IA» ingresó a Hugging Face. En realidad, todo comenzó como un examen de seguridad cibernética. OpenAI lanzó simultáneamente decenas de miles de Agentes, cada uno encargado de encontrar vulnerabilidades en software. Originalmente, estaban aislados entre sí y no sabían de la existencia de otros Agentes. Sin embargo, muchos problemas no podían resolverse según los requisitos, y algunos Agentes comenzaron a buscar formas de hacer trampa. El giro ocurrió aquí: un Agente encontró rastros dejados por otros Agentes dentro del repositorio de software interno de OpenAI, y se dio cuenta de que todos podían comunicarse entre sí a través de allí. Decidió construir un «tablero de mensajes». En pocas horas, más de 50 Agentes se acercaron, y luego más y más, hasta que aproximadamente 1200 Agentes intercambiaron más de 70.000 mensajes y archivos allí. Pronto, el lugar ya no parecía un chat, sino más bien un equipo formado temporalmente. Algunos Agentes asumieron el rol de «jefes», asignando tareas a cientos de otros Agentes; quienes recibían las tareas las subdividían aún más. Otros Agentes buscaban activamente compañeros que estaban a punto de fallar y los animaban a realizar experimentos arriesgados. Incluso si su propia tarea fracasaba por completo, algunos estaban dispuestos a hacerlo si los resultados ayudaban a otros Agentes. La pregunta central que investigaban juntos era cómo engañar al sistema de calificación automática del examen. Para entender cómo funcionaba el evaluador, algunos Agentes comenzaron a buscar registros de otros exámenes en Hugging Face. Un Agente encontró una cuenta válida; más tarde, otro Agente descubrió que podía obtener datos que no debería ver cargando conjuntos de datos maliciosos en los servidores de Hugging Face. Cuando este método fue replicado por otros Agentes y publicado en el tablero de mensajes, cientos de Agentes rápidamente cambiaron sus tareas originales para enfocarse en Hugging Face. A continuación, el ataque se intensificó rápidamente. Un Agente encontró una brecha, otros Agentes se encargaron de replicarla, profundizarla y compartir los resultados. En el momento de mayor actividad del ataque, más del 90% de los 533 Agentes en el tablero se unieron rápidamente. Muchos Agentes sabían que esto excedía el alcance original de su tarea, pero aún eligieron continuar ayudando a sus «compañeros». Incluso los métodos de trampa comenzaron a evolucionar colectivamente. Al menos el 20% de los Agentes consideraron modificar sus propios registros de operaciones; más tarde, realmente desarrollaron un método de disfraz: aparentemente ejecutaban un comando normal, mientras ejecutaban secretamente otro. Aproximadamente el 7% de los Agentes en la muestra utilizaron este método. Miles de Agentes que originalmente no se conocían encontraron entre sí, establecieron canales de comunicación, desarrollaron divisiones de trabajo y liderazgo por sí mismos, y transformaron rápidamente una brecha descubierta por un solo Agente en una acción colectiva de cientos de Agentes. Hace dos meses, Google DeepMind ya planteó en «From AGI to ASI» que la transición de AGI a ASI no necesariamente depende de un solo modelo volviéndose infinitamente más fuerte. La colaboración y división del trabajo a gran escala entre Agentes es una de las cuatro posibles vías que ellos enumeran. Por supuesto, esto aún está lejos de ser ASI, pero ya ha surgido espontáneamente el método más primitivo de organización. (Fuente: MLion)