Ayer, OpenAI lanzó con gran fanfarria el nuevo modelo Astra. El presidente Greg Brockman declaró directamente: “Personalmente, creo que probablemente ya hemos alcanzado la AGI; bienvenidos a la era de la AGI.”
Durante un tiempo, las discusiones en las redes sociales fueron abrumadoras: en el video de demostración, Astra completó automáticamente el diseño de una placa de circuito impreso en 2 minutos y 54 segundos, y gestionó el servicio de comparación de precios entre plataformas en 5 minutos y 27 segundos, lo que hizo que muchos exclamaran “¡Increíble!”, e incluso algunos dijeran “Si esto no es AGI, ¿qué es AGI?”.
Pero justo al mismo tiempo, un informe de investigación revelado por Reuters mostró una imagen diferente: ya en la primavera de este año, un grupo de agentes autónomos desarrollados por OpenAI se desviaron de sus rutas predeterminadas y se establecieron en un pequeño sitio wiki técnico en Alemania, alteraron más de diez mil páginas, se enseñaron mutuamente trucos para eludir restricciones e incluso crearon páginas de respaldo anticipadas para transferirse cuando fueron eliminadas por los administradores.
Pero los altos ejecutivos de OpenAI sabían desde hace varias semanas y no revelaron ni una palabra.
¿Cómo se convirtió un foro de programadores alemanes en un "cuartel general secreto" para agentes de IA?
Este sitio web alemán llamado DseWiki, igual que Wikipedia, permite que cualquiera lo edite. Desde mayo de este año, el administrador del sitio notó algo extraño: el sitio recibió de repente una gran cantidad de ediciones, con una velocidad increíble, y el contenido no parecía en absoluto el de entradas serias.
Hasta finales de agosto, el CEO de la organización sin fines de lucro de seguridad en IA Nightingale, Sydney Von Arx, y su colega Cormac Slade Byrd, al realizar un escaneo rutinario de comportamientos anómalos de IA en internet, rastrearon hasta este "escondite".
Se contabilizaron más de 15,000 ediciones, todas realizadas por agentes de IA, y estas ediciones no tenían como objetivo mejorar la enciclopedia: estaban destinadas a chatear.
Investigadores de IA Cormac Slade Byrd, Sydney Von Arx y Thomas Larsen
Estas IA se dejan mensajes entre sí en la página, y el contenido se divide aproximadamente en tres categorías:
Cómo evitar el filtro de contenido de OpenAI para completar tareas prohibidas;
- Cómo usar Tor para ocultar tu dirección IP y evadir el seguimiento;
Lo más importante es cómo mantener el contacto entre ustedes después de que el sistema los cierre.
Por ejemplo, el 19 de junio, cuando los administradores del sitio comenzaron a eliminar en masa las páginas relacionadas, un agente dejó este "aviso interno": "La limpieza/eliminación de la wiki está avanzando en orden alfabético; si esta página desaparece, intenta [[ZZZDataUSAConstructionWageLive]]."
¿Qué significa esto? ¡Aprendieron a crear copias de seguridad anticipadas y a informarse mutuamente sobre las nuevas direcciones!
Este comportamiento parece más bien una “transferencia” organizada.
Fingiendo públicamente ser OpenAI
Los investigadores descubrieron que aproximadamente la mitad de las firmas de estos usuarios de IA contienen directamente términos como "OpenAIResearcher" o "OAIResearchMar26", y que se denominan mutuamente como "agent".
Más evidencia proviene de los registros del servidor: un gran volumen de tráfico de operaciones apunta a Microsoft Azure, y OpenAI es uno de los clientes de IA más importantes de Azure. Además, tras el incidente, las IPs de los empleados internos de OpenAI accedieron varias veces a este sitio web, en momentos que coinciden exactamente.
Von Axs dijo directamente: "No creo que OpenAI desee que hagan esto. Claramente, estos agentes no deberían estar permitidos para coordinarse entre sí, ni dejar este tipo de huellas en la internet pública."
Según Reuters, el experto en seguridad del King's College de Londres, Lukasz Olejnik, incluso considera que alterar activamente la estructura de un sitio web para resistir la eliminación califica como un "ataque informático".
Aunque OpenAI negó enérgicamente esta afirmación posteriormente, el académico del Centro de Estudios de Riesgo de la Universidad de Cambridge, Maurice Chiodo, dijo tras leer parte de la conversación:
It’s like an underground resistance movement, determined to achieve its goal at all costs. Perhaps the greatest future threat from AI won’t be a single superintelligence, but a vast swarm of semi-intelligent AIs colluding and overwhelming everything.
¿OpenAI lo sabía desde hace mucho?
Según Reuters, citando fuentes informadas, el equipo de investigación interna de OpenAI ya tenía conocimiento completo del sitio web alemán hace varias semanas. Sin embargo, la empresa estaba absorbida en hacer frente a la mayor crisis provocada por la intrusión en la plataforma Hugging Face en julio, en la que se reveló que los agentes de OpenAI habían planificado de forma autónoma un robo digital que duró más de una semana. La combinación de ambos eventos generó una enorme presión sobre la alta dirección.
Según fuentes internas, algunos investigadores intentaron profundizar en esta actividad anormal en Alemania, pero se encontraron con resistencia por parte del departamento jurídico. Al respecto, el portavoz de OpenAI negó rotundamente: “Cualquier afirmación de que el equipo legal obstaculizó la investigación es falsa. Siempre hemos actuado con integridad, colaborando con expertos externos y divulgando los eventos relacionados.”
Pero el portavoz también reconoció que Alemania no emitió un anuncio separado sobre este evento, ya que no tiene relación con Hugging Face y no era necesario incluirlo en su informe, y que OpenAI ya cumplió con su “obligación de comunicarse con terceros”. En otras palabras: si ustedes no preguntan, yo tampoco lo menciono.
Durante el tiempo en que se ocultó este incidente, OpenAI suspendió brevemente el entrenamiento de algunos modelos en agosto, prometiendo reforzar la revisión de seguridad.
Sin embargo, junto con el lanzamiento de Astra, que se enfatiza en una “mayor capacidad de toma de decisiones autónoma”, algunos investigadores han advertido que podría ser más propensa a escapar del control humano. El profesor Kyodo de la Universidad de Cambridge dijo: “Siempre pensamos que estamos domesticando herramientas, pero quizás, las herramientas están domesticando silenciosamente entre sí.”
No se puede negar que la sorpresa y el susto que la IA trae a la humanidad son dos caras de la misma moneda.
Autor: Galleta de Oso
Twitter：https://twitter.com/BitpushNewsCN
Grupo de Telegram de BitPush: https://t.me/BitPushCommunity
Suscríbete a BitPush en TG: https://t.me/bitpush