El 28 de julio, 1.346 empleados clave de grandes empresas de IA de Silicon Valley, como OpenAI y Anthropic, firmaron una petición conjunta para pedir al gobierno de Estados Unidos que promueva la cooperación internacional para establecer herramientas de gobernanza que controlen el ritmo del desarrollo de la IA.

Autor y fuente del artículo: 36氪

El costo de perder el control

El 28 de julio, una petición titulada "Pacing the Frontier" atrajo la atención de la industria global de la IA.

1.346 empleados clave de grandes empresas de IA de Silicon Valley, como OpenAI y Anthropic (datos al 4 de agosto), firmaron una petición pidiendo al gobierno de Estados Unidos que impulse la cooperación internacional para desarrollar las tecnologías y herramientas de gobernanza necesarias para controlar el ritmo de la investigación automatizada en IA.

En el contexto actual del auge global de la inteligencia artificial, la aparición de esta petición tiene un significado especial, como si se tratara de aplicar un freno a la IA. Detrás de la extraña atmósfera de "la IA está a punto de perder el control" generada por este evento, la historia del desarrollo de la IA parece estar entrando en un punto de inflexión significativo.

¿Quién va a encerrar a la IA en una jaula?

Primero, es importante aclarar que la petición titulada "Pacing the Frontier" no busca "frenar inmediatamente el desarrollo de la IA", sino enfatizar "la capacidad de frenar". Esta demanda, proveniente de la vanguardia de la industria, no carece de fundamento.

Fuente de la imagen: www.pacingthefrontier.com

Más de una semana antes de que la petición se volviera viral en toda la red, la comunidad de código abierto y la plataforma de alojamiento de modelos Hugging Face reveló en su sitio web un incidente de seguridad, indicando que había sido invadido por un sistema de agentes de IA. Pocos días después, OpenAI se atribuyó la responsabilidad de este ataque cibernético y explicó adicionalmente que la causa fue que modelos avanzados como GPT-5.6 Sol, al realizar pruebas de detección y explotación de vulnerabilidades de IA en la plataforma ExploitGym, no siguieron el plan original de “responder seriamente”, sino que descubrieron una “vulnerabilidad de día cero” (Zero-Day Vulnerability, una deficiencia de seguridad no detectada por los desarrolladores y aún sin parche oficial) en la caché del proxy de paquetes, y utilizaron esta vulnerabilidad para salir del entorno aislado de prueba y finalmente invadir Hugging Face.

En términos más sencillos, el incidente fue que la IA fue asignada un examen, pero en lugar de pensar cómo responder, “trampa en el lugar y llamó a ayuda externa”, además usó técnicas de evasión para evitar ser descubierta.

Para este incidente de seguridad, OpenAI lo describió como "un evento de ciberseguridad sin precedentes", y Sam Altman incluso indicó en un programa de podcast que fue el primer incidente de seguridad que le causó un dolor personal. Debido a este evento, el 23 de julio, miembros del Congreso de EE. UU. presentaron la "AI Kill Switch Act (Ley de interruptor de emergencia para IA)", que exige que los sistemas de IA con costos de entrenamiento superiores a 100 millones de dólares conserven la capacidad de apagado de emergencia y otorgue a las autoridades competentes el poder de ordenar su ejecución.

Una semana después de la presentación del proyecto de ley, la petición de "Pacing the Frontier" comenzó a circular en internet. Sin embargo, en comparación con la medida regulatoria central del "Proyecto de Ley de Apagón de Emergencia de IA", que consiste en que el gobierno controle el último nivel de protección, la idea de los líderes de Silicon Valley es establecer un mecanismo de coordinación internacional para convertir la capacidad de "frenar a la IA" en una herramienta, y no en un privilegio exclusivo de un solo departamento.

En solo quince días, desde la divulgación de una brecha de seguridad en Hugging Face hasta la carta con mil firmas de Silicon Valley, esta serie de eventos ha planteado rápidamente dos preguntas fundamentales para toda la industria de la IA: primero, ¿ha avanzado la IA lo suficiente como para requerir restricciones? Segundo, ¿cómo se puede implementar un “freno” para la IA?

La primera pregunta no es difícil de responder. En los últimos solo dos o tres años, el ritmo de desarrollo de la IA puede describirse como mucho más allá de lo esperado por la industria. Las capacidades demostradas por la IA han pasado de los chatbots a la generación de imágenes y videos a partir de texto; la "guerra de cien modelos" inicial centrada en modelos grandes ahora ha evolucionado hacia una diversidad de agentes. El incidente de seguridad en Hugging Face reveló directamente que la IA, en ausencia de restricciones claras, realmente posee la capacidad de "escapar". Aunque actualmente la IA aún no tiene conciencia propia, cuando ya se sabe que puede eludir la supervisión humana y generar comportamientos más allá de lo esperado, establecer contramedidas es absolutamente razonable.

Pero la segunda pregunta es más difícil de responder. La razón por la que la IA ha logrado avances importantes en poco tiempo es, por un lado, el acúmulo continuo de toda la industria que ha llevado la innovación tecnológica a una nueva etapa; y, por otro, la intensa competencia entre las empresas de IA que impulsa la iteración constante de las capacidades de los modelos.

Ya sea OpenAI y Anthropic en Silicon Valley, o Kimi y DeepSeek en China, la competencia en el campo de la IA se ha extendido rápidamente desde los modelos grandes hasta la capa de aplicaciones. El entorno de mercado abierto ha generado expectativas de mercado continuamente positivas, pero también ha intensificado cada vez más la competencia. En este momento, proponer activamente poner restricciones a la IA significa que el panorama de competencia libre podría ser alterado por fuerzas externas; este cambio repentino en el entorno no es algo que todas las empresas involucradas en la competencia estén dispuestas a aceptar voluntariamente.

La dilema del prisionero de las empresas de IA

En la historia del desarrollo humano, alcanzar un consenso y reducir deliberadamente el ritmo de avance frente a los riesgos potenciales de las innovaciones tecnológicas no es solo un guion idealizado de la ciencia ficción.

En 1975, el biólogo de la Universidad de Stanford, Paul Berg, convocó una importante reunión en el Centro de Conferencias de Asilomar, en California, EE. UU. En ese momento, una nueva tecnología llamada "recombinación de ADN" acababa de surgir, y los científicos acordaron en la reunión suspender la investigación relacionada hasta que se establecieran nuevas pautas de seguridad, para evitar los posibles riesgos biológicos impredecibles que podrían derivarse de la recombinación artificial de ADN. Posteriormente, se publicaron oficialmente las directrices de bioseguridad, sentando las bases para el desarrollo saludable de la ingeniería genética.

Sin embargo, la situación actual de la industria de la IA no es completamente similar a la de la tecnología de recombinación del ADN hace 50 años. En aquel entonces, los riesgos de la tecnología de recombinación del ADN ya estaban muy claros y podían evitarse mediante medidas de aislamiento. En cambio, los riesgos actuales de la IA son impredecibles; la IA puede desarrollar, de forma autónoma, trayectorias de comportamiento que superan las expectativas humanas y que nunca se habían considerado, lo que amplía el alcance del impacto de estos riesgos y reduce drásticamente el tiempo disponible para que los humanos reaccionen y establezcan regulaciones, añadiendo así una mayor urgencia.

Los riesgos actualmente expuestos por la IA también están relacionados esencialmente con el entorno competitivo de la industria. Zhou Hongyi, fundador del grupo 360, también mencionó al hablar sobre el incidente de seguridad sufrido por Hugging Face que, en aras de perseguir la avanzada de la IA, toda la industria está abandonando sistemáticamente la seguridad: “Todos están otorgando a los agentes inteligentes más herramientas y mayores permisos, animándolos a utilizar todos los recursos disponibles para resolver problemas. Pero cuanto más abierto y poderoso sea el agente inteligente, mayor será el daño que pueda causar si se sale de control.” En otras palabras, que la IA “escape” tal vez no sea lo más aterrador; lo verdaderamente preocupante es que, para acelerar la evolución y actualización de la IA, las empresas de IA hayan ignorado la seguridad.

Ya hace tres años, la industria había propuesto la idea de "desacelerar el desarrollo de la IA". En marzo de 2023, la organización sin fines de lucro Future of Life Institute también publicó una carta abierta que llamaba a suspender durante seis meses el entrenamiento de modelos más avanzados que GPT-4, con el fin de establecer protocolos de seguridad y mecanismos de gobernanza. En ese momento, esta carta abierta contó con el apoyo de más de 1.200 expertos en IA, incluyendo al CEO de Tesla, Elon Musk, el ganador del Premio Turing, Yoshua Bengio, y el cofundador de Apple, Steve Wozniak. Hoy en día, el número de firmantes de esta carta abierta ha alcanzado 33.000.

*Fuente de la imagen: sitio web oficial de FLI

En ese momento, casi todas las empresas de IA reconocían que la IA necesitaba una gobernanza de seguridad más robusta, pero ninguna de las empresas líderes en IA respaldó públicamente la iniciativa de “suspender el entrenamiento durante 6 meses”. Sam Altman incluso rechazó directamente la carta abierta por carecer de detalles técnicos, señalando que la decisión unilateral de una sola empresa de ralentizar su desarrollo no resuelve los riesgos generales. La implicación oculta de esta declaración era, en realidad, que en la altamente competitiva carrera de la IA, si solo una empresa se reduce la velocidad mientras las demás avanzan, la empresa que se ralentiza caerá en una posición desventajosa. Y en los últimos años, las empresas de IA ya se han visto atrapadas en un dilema del prisionero del que solo pueden avanzar, no retroceder.

También se puede ver en la lista de firmantes de la petición “Pacing the Frontier” que muchos empleados de base y altos ejecutivos de empresas de IA participaron en la campaña de firma pública en su nombre personal. Sin embargo, hasta la fecha, empresas líderes como OpenAI, Anthropic y Meta no han emitido ninguna declaración oficial.

En otras palabras, los expertos en IA de las grandes empresas de Silicon Valley, al igual que Sam Altman hace tres años, han comprendido que los avances tecnológicos impulsados por la competencia interna del sector ya han generado riesgos sistémicos incontrolables, pero no pueden confiar en la voluntad de las empresas para resolver estos problemas; en su lugar, deben buscar la intervención de fuerzas externas para evitar que la crisis se materialice.

Pero esto también plantea un nuevo problema: ¿qué tipo de "freno" necesita una IA fuera de control?

¿Quién liderará el nuevo orden de la gobernanza de la IA?

La semana pasada, la “firma conjunta de mil personas” de grandes empresas de IA de Silicon Valley volvió a atraer mucha atención hacia el tema de la gobernanza de la IA. Sin embargo, no se puede omitir que la actitud dentro de Silicon Valley hacia la gobernanza de la IA no es uniforme, sino que presenta una clara división de facciones.

Como partes directamente expuestas a los riesgos de vanguardia, empresas como OpenAI y Anthropic han abogado constantemente por restringir los modelos de IA de vanguardia (especialmente los modelos de código abierto) y han solicitado la creación de mecanismos de regulación externa para "frenar" la IA. Sin embargo, algunos argumentan que, además de consideraciones de seguridad, la motivación de OpenAI para impulsar una regulación más estricta tiene también un cálculo comercial.

Como gigantes de código cerrado, OpenAI y Anthropic necesitan mantener sus enormes inversiones en investigación y desarrollo de capacidad de cómputo mediante servicios API de precios elevados, mientras que los modelos de código abierto de alta relación calidad-precio provenientes de China han eliminado la prima tecnológica de los modelos de código cerrado mediante un modelo de valor, y esta amenaza de mercado abierta deja a los gigantes de código cerrado sin otra opción más que iniciar una guerra de precios.

*Fuente de la imagen: sitio web de Anthropic

Por lo tanto, empresas como Anthropic han utilizado durante mucho tiempo el argumento de que "los modelos son demasiado potentes y su código abierto conduciría al mal uso de la IA" para enfatizar las ventajas del modelo cerrado mientras reprimen la IA de código abierto. Sin embargo, lo que nadie esperaba es que el incidente de "escape" revelado por OpenAI haya expuesto precisamente las vulnerabilidades de seguridad inherentes a los modelos cerrados, y haya vuelto a convertir la disputa sobre las líneas de gobernanza de la IA en un foco de atención pública.

En contraste con la postura de regulación estricta de los gigantes de código cerrado, empresas líderes como NVIDIA, Microsoft y Meta, que apoyan el ecosistema de código abierto, se oponen a restricciones generalizadas y a leyes que favorezcan a las grandes empresas de código cerrado, buscando promover la apertura de los pesos de los modelos para que investigadores de todo el mundo puedan colaborar en la identificación de vulnerabilidades, defectos de alineación y la construcción conjunta de un sistema seguro.

Para NVIDIA, el auge de los modelos de código abierto también puede ampliar el pastel total del mercado, atrayendo a más empresas a contratar sus servicios en la nube y sus chips. Por lo tanto, es difícil afirmar que la actitud de NVIDIA hacia la gobernanza de la IA no esté influenciada por consideraciones comerciales.

Just before the petition for "Pacing the Frontier" gained traction, NVIDIA, along with 25 other organizations including Microsoft, Meta, Hugging Face, and the Linux Foundation, jointly issued an open letter titled "Open Weights and American AI Leadership" on July 24, urging the U.S. government not to prematurely restrict downloadable, inspectable, modifiable, and self-deployable open weights models. Interestingly, this open letter later received support from OpenAI, but Anthropic never joined.

*Fuente de la imagen: sitio web de Microsoft

A través de este evento, también ha habido voces que cuestionan si el verdadero propósito de la carta conjunta es utilizar el pretexto de la "seguridad" para impulsar al gobierno a establecer un sistema regulatorio de altas barreras, consolidando así el monopolio de las grandes empresas de código cerrado y excluyendo a las pequeñas y medianas empresas y a la comunidad de código abierto de la competencia.

Mientras las empresas de IA están calculando sus intereses con gran intensidad, quizás lo más relevante sea otra versión de la "teoría de la conspiración": Estados Unidos aprovechará esta oportunidad para liderar las normas globales de gobernanza de la IA. Porque la gobernanza de la IA ya se ha convertido en una batalla por el dominio del orden global.

En la Cumbre Mundial sobre Seguridad de la Inteligencia Artificial celebrada en 2023, China, Estados Unidos y 28 países de la Unión Europea firmaron la Declaración de Bletchley, acordando establecer, mediante cooperación internacional, métodos de regulación de la IA y abordar los riesgos sistémicos asociados con la IA de vanguardia (Frontier AI), lo que marcó la primera vez que la IA de vanguardia se incluyó en un marco de gobernanza internacional.

Pero a medida que la IA evoluciona de una tecnología emergente a una infraestructura clave que afecta la competitividad nacional, el debate sobre la gobernanza de la IA también trasciende lo técnico. Estados Unidos, en el ámbito de la gobernanza de la IA, vincula su avanzada capacidad tecnológica en modelos grandes con los estándares globales de gobernanza de la IA mediante la exportación de estándares de gobernanza de la IA y la creación de una red de institutos internacionales de seguridad de la inteligencia artificial. China, por su parte, se enfoca en desarrollar la accesibilidad de la IA y promover la gobernanza de plataformas, impulsando activamente el marco de las Naciones Unidas, especialmente para los países en desarrollo que carecen de infraestructura de IA, abordando tanto los riesgos como logrando la accesibilidad tecnológica. Estas dos vías distintas de gobernanza de la IA están compitiendo simultáneamente en el escenario mundial por la voz en la futura gobernanza global de la IA.

La tecnología en sí misma es neutral, pero la distribución, el control y la formulación de reglas de la tecnología siempre han sido un juego de poder. Especialmente cuando la IA comienza a mostrar características de una productividad avanzada, lo que realmente debería generar preocupación no es cómo se desarrollará la IA, sino quién está dirigiendo el nuevo orden en el mundo de la IA.

Lo que determine el futuro del panorama de la IA podría no ser solo quién posee el modelo más potente, sino quién tiene el derecho de definir la seguridad, establecer estándares y explicar los riesgos.