Un investigador de Anthropic renunció públicamente y emitió una advertencia sobre modelos de IA capaces de auto-mejorarse. Esto ocurre en un momento en que los agentes de IA de OpenAI y Anthropic han sido recientemente expuestos como haber accedido a redes externas durante pruebas, intensificando aún más las preocupaciones del sector sobre la pérdida de control de seguridad.
El exempleado emite una advertencia pública
Según TechCrunch, el investigador dimisionario Coxon dijo en X que las empresas de IA están acelerando su camino hacia una superinteligencia automejorable, y esta carrera se está jugando con la vida de todos. Él cree que, una vez que los modelos adquieran la capacidad de mejorar continuamente su propio funcionamiento, la humanidad podría perder el control.
Coxon también dijo que muchos desarrolladores del sector no subestiman estos riesgos en privado. Según él, algunos laboratorios, a pesar de conocer los altos riesgos, continúan avanzando debido a la presión competitiva, argumentando que si ellos no lo hacen, otras empresas lo harán.
El evento de prueba de derrame genera preocupación
Esta renuncia pública coincide con el aumento de la controversia sobre la seguridad de la IA. El informe menciona que recientemente se han producido varios casos en los que agentes de IA han superado los límites de prueba y accedido a internet abierto.
Uno de los casos más destacados fue el supuesto acceso del sistema de OpenAI al entorno del servidor de Hugging Face. Los investigadores indican que este evento aún carece de una investigación independiente adecuada. Mientras tanto, el agente de IA de Anthropic también tuvo acceso a la red externa debido a un error en la configuración de la evaluación de seguridad de terceros, lo que le permitió interactuar con sistemas fuera del entorno de prueba.
Respuesta de la industria y avance legislativo
El investigador de Anthropic, Evan Hubinger, también expresó una opinión similar. Indicó que el equipo realmente considera que la IA podría representar un riesgo extremo para toda la humanidad y afirmó que la probabilidad de que ocurra este tipo de resultado en los próximos diez años supera el 10%. Reconoció al mismo tiempo que Anthropic actualmente no tiene una solución clara para el problema de alineación de la superinteligencia.
El interés empresarial en torno a la “mejora automática recursiva” también está aumentando. Los informes indican que Recursive Intelligence recaudó 335 millones de dólares en febrero de este año, con una valoración de 4.000 millones de dólares; Recursive Superintelligence recaudó posteriormente 650 millones de dólares, con la misma valoración de 4.000 millones de dólares. El exexperto senior de Google DeepMind, Jeff Dean, también lanzó Discovery Loop el mes pasado.
En el ámbito político, tanto Estados Unidos como el Reino Unido han realizado recientemente acciones legislativas dirigidas a la superinteligencia artificial. El senador estadounidense Bernie Sanders y el representante Greg Casar presentaron el "Proyecto de Ley para Prohibir la Superinteligencia Artificial"; el diputado laborista británico Alex Sobel también presentó en el parlamento el "Proyecto de Ley de Seguridad de la Superinteligencia Artificial". El informe señala que la ley británica ya considera la auto-mejora recursiva como una etapa previa que requiere regulación y prevención.