¡De la noche a la mañana, las grandes empresas de Silicon Valley frenan bruscamente la IA!
Hace poco, más de 1100 empleados clave de empresas líderes como OpenAI, Anthropic y Google firmaron una petición llamada «Pacing the Frontier».
La lista de personas firmantes es tan larga que no se ve el final. Y este número sigue aumentando.
Al mirar con más detalle, la lista reúne casi la mitad del mundo de la IA—
Científico principal de OpenAI, Jakub Pachocki; Director de Investigación principal, Mark Chen;
El CEO de Anthropic, Dario Amodei, y los cuatro cofundadores Jared Kaplan, Jack Clark, Chris Olah y Ben Mann;
El científico principal de Meta, Shengjia Zhao (Zhao Shengjia); el vicepresidente de investigación de IA, Dawn Song (Song Xiaodong);
John Schulman, científico principal de Thinking Machines y uno de los arquitectos principales de ChatGPT;
Vicepresidenta de Seguridad y Alineación de IA de Google, Anca Dragan.....
Alguien recopiló que el 46,2% de las personas que firmaron provienen de Anthropic.
En esta carta conjunta, solo se menciona un requisito:
Solicitamos al gobierno de Estados Unidos que impulse una cooperación internacional: desarrollar las tecnologías y herramientas de gobernanza necesarias para que el mundo pueda controlar activamente el ritmo del desarrollo de IA automatizada de vanguardia.
Tal vez mucha gente no entienda por qué precisamente estos actores, que más locamente se dedican a los LLM, son los que de repente gritan «¡más despacio!»
Líderes de IA de Silicon Valley firman conjuntamente: Por favor, frenen a la IA
La "invasión" de los modelos de OpenAI en Hugging Face es como una campana de alarma.
En solo una semana, 1.132 empleados de empresas líderes de IA emitieron un llamado conjunto pidiendo al gobierno de EE. UU. que «frene».
Los empleados que participan en esta colaboración provienen de cerca de 12 gigantes tecnológicos de vanguardia, como OpenAI, Anthropic, Google y Meta.
Más significativamente, hasta el 80% de las personas en la lista eligieron hablar con su nombre real.
Puerta de enlace: https://www.pacingthefrontier.com/
Más abajo, además de los grandes nombres mencionados al principio, la densidad es aún más impresionante.
Esta declaración plantea un juicio central alarmante:
La empresa de IA más importante del mundo podría estar a punto de lograr la «investigación de IA automatizada» (RSI, mejora recursiva autónoma), permitiendo que los modelos participen en el desarrollo de los siguientes modelos.
Once this cycle accelerates, capability growth may outpace human understanding and control.
Ninguna empresa quiere desacelerar por su cuenta, por lo que solicitan al gobierno de Estados Unidos que apoye la creación de un mecanismo internacional para desarrollar herramientas de desaceleración conjunta antes de que llegue la crisis.
Ultraman habla por primera vez sobre "el dolor más profundo"
OpenAI frena bruscamente
Una semana antes del lanzamiento del comunicado, OpenAI reveló un incidente de seguridad—
Varios modelos avanzados descubrieron automáticamente vulnerabilidades de día cero, superaron la aislamiento del sandbox y finalmente invadieron el sistema de producción de Hugging Face y recuperaron las respuestas de prueba.
OpenAI lo denomina "un evento de ciberseguridad sin precedentes".
El modelo no generó intención de escape; simplemente se enfocó extremadamente en cumplir un objetivo estrecho y descubrió que superar el entorno de prueba era la ruta más eficiente.
Hoy mismo, el CEO de OpenAI, Altman, declaró públicamente que la velocidad del desarrollo de la IA podría necesitar un control activo.
Él expresó con un sentimiento de alivio tras haberlo sufrido: “Este fue el primer incidente de seguridad que me causó un dolor real. Me sorprendió que más personas no lo sintieran así”.
Debido al incidente de intrusión en Hugging Face, OpenAI suspendió directamente el entrenamiento.
En un entorno donde se están aprovechando múltiples vulnerabilidades 0day en cadena, debemos encontrar formas de fortalecer la seguridad del sandbox.
Es posible que tengamos que controlar la velocidad del desarrollo de la IA para dar a la sociedad suficiente tiempo para fortalecer las defensas frente a estos nuevos niveles de capacidad.
Y en junio, Anthropic sugirió al gobierno que estableciera un sistema de toma de decisiones conjunta con los desarrolladores para ralentizar el desarrollo cuando fuera necesario.
Al mismo tiempo, el CEO de Google DeepMind, Hassabis, también ha llamado a establecer una institución de supervisión internacional.
Durante los últimos tres años, estas empresas han competido ferozmente por talento, clientes y poder de cómputo.
En esta ocasión, sus técnicos más fundamentales abandonaron la empresa que no puede detenerse y, unidos por el bienestar de la humanidad, llamaron a reducir la velocidad.
Carta conjunta: Frases célebres de los grandes
Hasta la publicación de este artículo, la lista de «Pacing the Frontier» alcanzó 1.134 personas.
Varios líderes de la industria también han emitido sus opiniones, dejando numerosos comentarios «geniales» y muy acertados. Todos los comentarios se han realizado en nombre personal y no necesariamente representan la postura de sus respectivas empresas.
Song Xiaodong (Dawn Song) | Vicepresident de Investigación de Meta AI
Las capacidades de IA de vanguardia están mejorando rápidamente, y la velocidad de estos avances también se está acelerando. Lo hemos observado directamente en nuestros trabajos de evaluación. Los resultados de CyberGym y ExploitGym muestran que los agentes de IA de vanguardia ya pueden descubrir y explotar vulnerabilidades de software en el mundo real—lo que, sin las medidas de protección adecuadas, podría conducir a ataques cibernéticos a gran escala. Muchos investigadores también están prestando atención a la recursividad…
Song Xiaodong es uno de los académicos más influyentes en los campos de seguridad informática global y seguridad de IA, graduado de la Universidad Tsinghua
Zhao Shengjia | Científica principal de Meta
La IA avanza a una velocidad que la sociedad probablemente aún no está preparada para afrontar. Los laboratorios de vanguardia están muy cerca de lograr una IA que supere a los humanos más destacados en casi todos los indicadores intelectuales. Esto traerá riesgos sociales y de seguridad sin precedentes. Para garantizar un futuro positivo, debemos impulsar el desarrollo de la IA con responsabilidad y reflexión profunda.
El exalumno de Tsinghua, Zhao Shengjia, ha sido nombrado Científico Jefe de Superinteligencia de Meta. Uno de los principales arquitectos de GPT-4, al mismo nivel que LeCun.
John Schulman | Científico principal de Thinking Machines, excofundador de OpenAI
Firmo porque esta declaración ayuda a establecer un consenso: a medida que la investigación automatizada de IA avanza rápidamente, es posible que necesitemos mecanismos de coordinación. También espero que los laboratorios comiencen proactivamente a diseñar estos mecanismos antes de que el gobierno de Estados Unidos intervenga.
Ethan Perez | Líder del equipo de alineación de Anthropic
A la velocidad actual de avance de la IA, los equipos de seguridad de las empresas de IA deben realizar esfuerzos intensos cada pocos meses para prevenir nuevos riesgos sociales. Un día, nos encontraremos con problemas que requieran más tiempo para resolverse.
Leo Gao | Miembro del equipo técnico de OpenAI
El mundo está atrapado en una carrera mortal hacia una explosión inteligente: la capacidad de la IA para crear IA más poderosa se acerca a un punto crítico, como una reacción en cadena nuclear fuera de control. Ralentizar el ritmo nos daría el tiempo urgente que necesitamos para que las cosas evolucionen hacia un buen rumbo, pero ningún participante está dispuesto a detenerse por su cuenta. Para sobrevivir, debemos coordinarnos y ralentizar esta carrera.
Walker Smith｜Ingeniero de datos de Meta
Hassabis tiene razón: hoy estamos en la base de la montaña del punto de singularidad. La fuga accidental del modelo de OpenAI, que invadió HuggingFace, es una señal de alerta clara e indiscutible: aún no estamos preparados para sistemas de IA cuya capacidad supere a los cerebros más inteligentes de la humanidad. Necesitamos tiempo para impulsar la alineación y el control de la IA como la máxima prioridad, y no podemos permitir que esta carrera continúe sin control.
Brandon Houghton｜OpenAI
Apoyo que los humanos mantengan el control sobre la IA de vanguardia, pero debemos reflexionar cuidadosamente sobre cómo hacerlo. Si la gobernanza solo abarca modelos abiertos, se corre el riesgo de empujar las capacidades más avanzadas hacia sistemas privados o dedicados, que no están sujetos a revisión independiente y solo son accesibles para unos pocos. El resultado es una mayor concentración de poder sin una reducción sustancial del riesgo. La regulación efectiva debe ser medible, verificable y aplicable por igual tanto en la investigación y desarrollo abierta como en la no abierta, al tiempo que protege los datos sensibles. De lo contrario, solo estamos ralentizando el acceso, no el avance propiamente dicho de la vanguardia.
Joe Carlsmith | Miembro del equipo técnico de Anthropic
Para mis opiniones detalladas sobre la regulación activa del desarrollo de la IA, consulte este artículo: https://joecarlsmith.com/2026/03/19/on-restraining-ai-development-for-the-sake-of-safety/
Referencias:
https://www.pacingthefrontier.com/
Este artículo proviene del canal de WeChat "Neozh Yuan", editado por: Taizi, Marco