El CEO de Anthropic propone un marco de política de IA ante el rápido crecimiento tecnológico

Recientemente, el CEO de Anthropic, uno de los principales gigantes de la IA, Dario Amodei, publicó un extenso artículo de diez mil palabras que se volvió viral en toda la red: «Políticas en la Era de los Índices de Inteligencia Artificial». El artículo detalla cuidadosamente sus observaciones y propone recomendaciones sistemáticas que abarcan desde la regulación hasta la geopolítica, centradas en cinco áreas políticas.

(Enlace original:https://darioamodei.com/post/policy-on-the-ai-exponential, se incluye la versión completa en chino a continuación.)

Hay que reconocer que, en el círculo de Silicon Valley, donde todos hablan de "cambiar el mundo" y solo saben hacer promesas vacías, Dario es una rara corriente de frescura.

Fue extremadamente sincero, incluso algo “incapaz de proteger a los suyos”, al desenmascarar la fachada de la industria tecnológica.

La gente dentro de la industria siempre atribuye la preocupación del público sobre la IA a una “mala gestión de relaciones públicas”, pero Dario lo refuta sin rodeos: la gente se preocupa porque los riesgos son reales, y no se trata en absoluto de un problema de relaciones públicas.

También reconoció directamente la verdad que las grandes tecnológicas evitan con todo: la IA es muy probable que desencadene una ola grave y duradera de desempleo, atrapando a la economía en un estado extremo de “supercrecimiento y superdesigualdad”.

Pero si seguimos el remedio propuesto por este "denunciante" de primera línea de la industria, descubrimos una paradoja estructural profundamente reflexiva:

Este ejecutivo responsable, al exigir imponer restricciones a la industria, está objetivamente buscando impulsar un cambio de poder sin precedentes. Los精英 de Silicon Valley están reescribiendo las reglas de la sociedad humana.

Ante la evolución de la IA a velocidad de rayo, Dario se preocupó y sugirió que los gobiernos regulen la IA tan rápidamente como lo hacen con los aviones y los medicamentos.

Por ejemplo, establecer un mecanismo similar a la Administración Federal de Aviación (FAA) que exija que los modelos avanzados con suficiente poder de cómputo pasen pruebas de seguridad obligatorias realizadas por terceros, de lo contrario no se les permitirá lanzarlos.

The starting point is undoubtedly for human safety.

Pero según la ley objetiva de la evolución comercial, la industria aérea es un oligopolio altamente concentrado precisamente porque los costos de cumplimiento son absurdamente altos.

Cuando la industria de la IA realmente se "FAAice", los altos costos de revisión, las pruebas periódicas de equipos rojos y las pruebas de penetración se convertirán directamente en un muro impenetrable de suspiros.

La regulación, a veces, es la ventaja competitiva de los líderes. Las startups y la comunidad de código abierto simplemente no pueden permitírselo.

El resultado final es: los gigantes, por un “amor” hacia la seguridad de toda la humanidad, utilizaron objetivamente el poder público para llevar a cabo una limpieza legal y consolidar su posición de oligopolio en la ley.

En los campos de la farmacéutica y la geopolítica, existe la misma lógica sutil.

Dario pide a instituciones tradicionales como la FDA que relajen la aprobación de la investigación de fármacos con IA, aceptando simulaciones de IA en lugar de largos ensayos clínicos. La intención es buena, pero sin duda también elimina obstáculos para que los gigantes de la IA con la mayor potencia de cómputo realicen un ataque de baja dimensión contra la industria farmacéutica de trillones de dólares.

Al mismo tiempo, ideó una "alianza de inteligencia artificial de países democráticos" que comparta chips internamente y mantenga una defensa estricta contra el exterior.

Si se establece esta alianza, ¿quién proporciona la tecnología? ¿Quién queda excluido? ¿Quién es considerado enemigo? ¿Quién se beneficia en todo este proceso?

Para mantener la brecha tecnológica, las grandes empresas tecnológicas no solo son proveedoras de tecnología, sino que también se convierten lógicamente en los defensores de las nuevas reglas del juego, e incluso podrían transformarse en un nuevo "complejo militar-industrial digital" que recibe presupuestos de defensa masivos.

Si revisamos las pistas ocultas de la historia, todo esto en realidad ya tenía premonición.

Históricamente, cuando una empresa se vuelve lo suficientemente grande, tiende a "capturar al estado o adoptar características cuasi-estatales". Dario mismo mencionó en el texto una analogía muy precisa: la Compañía Británica de las Indias Orientales.

La Compañía Británica de las Indias Orientales comenzó como un grupo de comerciantes de especias, pero para proteger sus rutas y gestionar sus vastos intereses transnacionales, poco a poco comenzaron a reclutar ejércitos, establecer tribunales y emitir moneda, convirtiéndose finalmente en un “cuasi-estado” que gobernaba el subcontinente.

Hoy, los gigantes de Silicon Valley siguen exactamente el mismo camino.

Solo que el medio de entonces eran los barcos y cañones, y el de hoy es la capacidad de cómputo.

Dario imaginó un futuro asombroso: si la IA continúa evolucionando exponencialmente, se convertirá en un "reino de genios dentro de los centros de datos": la IA sería como un conglomerado de genios en todos los campos, y poseer una IA poderosa sería como tener tantos genios a tu servicio como los que conforman un país. Por lo tanto, cuando un ejército con una IA poderosa se enfrenta a un ejército sin IA, la brecha es como la que existe entre "los marines de la Segunda Guerra Mundial y los caballeros de la Edad Media".

Cuando las grandes empresas tecnológicas poseen tecnologías capaces de provocar colapsos financieros, fabricar armas biológicas o incluso determinar el panorama geopolítico global, las instituciones estatales tradicionales comienzan a tener dificultades para ejercer un control efectivo sobre ellas.

Los gigantes ya han intentado establecer sus propios estándares de seguridad, probar sus propios modelos e incluso idear soluciones de alianzas internacionales.

No es porque sean un grupo de ambiciosos malévolos, sino porque, tras el desarrollo tecnológico hasta este nivel, el vacío de poder y la complejidad de la naturaleza humana los han llevado naturalmente por un camino similar.

En una era donde el poder de cómputo lo decide todo, la fuerza del individuo parece comprimida infinitamente.

Dario desenmascaró sin piedad la verdad: la IA no solo reemplaza el trabajo físico, sino también las capacidades cognitivas en las que la humanidad se enorgullece.

Cuando nuestra lógica y planificación, desarrolladas con esfuerzo en el entorno laboral, parecen infantiles frente a la IA, ese “país que reúne a todos los genios”, ¿cómo debemos actuar?

La receta ofrecida por los gigantes es el ingreso básico universal (UBI) y otros apoyos macroeconómicos: incluso si no trabajas, el Estado te paga para mantenerte.

But the job is safe—who will fill the big hole in my heart?

Quizás, como la metáfora de Dario en el texto: incluso aunque las máquinas ya hayan superado a los humanos en el ajedrez y el go, las personas aún dedicarán sus vidas al tablero y seguirán siendo veneradas.

Porque la máquina calcula una "solución óptima" fría, mientras que los humanos buscan la "experiencia misma", llena de vida.

Las características que no pueden ser estandarizadas se convertirán en el recurso más escaso del futuro.

En una trama secundaria de El Señor de los Anillos, dos hobbits intentan despertar a Treebeard, un árbol consciente lleno de sabiduría pero de movimientos lentos, para que defienda su bosque contra un ejército que está talando el bosque. El problema es que la velocidad de acción de Treebeard es completamente diferente a la de los hobbits. Le toma todo un día saludar simplemente a otro árbol, por lo que es casi imposible hacer que él y sus compañeros actúen con suficiente rapidez.

La intersección entre la inteligencia artificial (IA) y nuestro sistema político se siente un poco como los hobbits y los Ents. La IA está avanzando a un ritmo vertiginoso (俚语/习语，意为极快的速度): en solo cuatro años, los modelos de IA han pasado de casi no poder escribir una línea de código coherente a generar la mayor parte del código en las principales empresas de IA. Se han logrado avances similares en biología, física, matemáticas, finanzas, derecho, traducción y muchos otros campos. Las leyes de escalamiento de la IA, que predicen que la capacidad cognitiva general aumentará exponencialmente con el aumento de la capacidad de cómputo, cuentan hoy con más de una década de evidencia empírica que las respalda. Si estas leyes de escalamiento continúan solo uno o dos años más, es muy probable que obtengamos lo que yo llamo “IA potente (Powerful AI)”, o “nación de genios dentro de un centro de datos”.

En comparación, la política —especialmente la legislación— avanza muy lentamente. Por lo general, hay buenas razones para esto: el gobierno posee un poder extremadamente significativo, y generalmente es mejor no ejercerlo de forma apresurada. Pero esta desconexión en los plazos sigue siendo muy dolorosa: en el tiempo que podría tomar al congreso tomar medidas, la IA podría pasar de ser un juguete interesante a convertirse en un verdadero país de genios.

En los últimos años, desde que la IA se convirtió en una tecnología comercial principal, quienes deseamos manejarla de manera responsable hemos enfrentado un dilema. Podemos ver claramente la trayectoria de este crecimiento exponencial: sospechamos fuertemente que, en unos pocos años, la IA se convertirá en uno de los raros tecnologías que redefinirán por completo el panorama político, al igual que las armas nucleares transformaron la geopolítica o la revolución industrial redefinió cada problema económico y social. Sin embargo, para quienes solo se enfocan en lo que la IA puede hacer en ese momento, parece una tecnología bastante común: tal vez similar a la última aplicación de consumo o criptomoneda. Es difícil convencer a la mayoría de los formuladores de políticas y empresas de que haya algo más significativo que una actitud de laissez faire. Es justo decir que, de hecho, los impactos radicales de la IA aún no se han manifestado, y no sabemos con certeza qué forma podrían tomar, lo que dificulta aún más diseñar políticas adecuadas incluso cuando existe la voluntad de actuar.

Dadas las limitaciones impuestas por esta situación, muchos defensores de la seguridad (incluyendo a Anthropic) se han centrado hasta ahora en promover acciones políticas que preserven las opciones, preparen el terreno para una rápida respuesta futura (expresión coloquial que significa preparar o sentar las bases) o permitan una mejor comprensión de lo que está por venir (expresión coloquial que se refiere a eventos inminentes o que están por aparecer), como leyes de transparencia, controles de exportación de chips y la recopilación de datos sobre el impacto de la IA en el empleo. Estas medidas no son suficientes, pero parecen ser lo máximo que se puede hacer en este momento.

Sin embargo, en los últimos meses, la evidencia sobre el asombroso poder de la IA y sus riesgos se ha vuelto innegable. Quizás el ejemplo más representativo sea Claude Mythos Preview, así como el descubrimiento de que los modelos de vanguardia representan un riesgo muy real para la ciberseguridad, creando la posibilidad de perturbar el sector financiero, infraestructuras críticas y la seguridad nacional. Mythos Preview alteró por completo el panorama global de ciberseguridad. Pero su significado más amplio es que demuestra sin lugar a dudas que los modelos de IA ahora son herramientas con importancia global y estratégica nacional. Los riesgos cibernéticos que traen los modelos del nivel Mythos no serán los últimos que debamos enfrentar. Creo que los riesgos biológicos podrían seguir muy pronto, y también podrían seguir de cerca los serios riesgos de autonomía de la IA (nota 1).

Actualmente, globalmente necesitamos activar una institución política lenta y inestable para abordar los riesgos y oportunidades que crecerán a una velocidad asombrosa a partir de ahora. Muchos formuladores de políticas están mostrando una actitud cada vez más abierta para actuar, lo cual es alentador, al ver que nuestros pares también cambian de opinión para estar de acuerdo con la misma postura que hemos abogado durante los últimos años. Esto es positivo, pero temo que estas acciones iniciales estén al menos un año desfasadas respecto al rápido avance de la IA. Este artículo intenta cerrar esta brecha: aclarar dónde se encuentra actualmente el crecimiento exponencial y qué acción colectiva se requiere para hacer frente al momento actual.

Voy a centrarme en cinco áreas políticas tradicionales que necesitan ser replanteadas en el mundo de la IA: regulación y seguridad pública, política macroeconómica y fiscal, innovación científica, el equilibrio de poder entre el Estado y la sociedad, y geopolítica. Voy a abordarlas principalmente desde la perspectiva de la política estadounidense, ya que Anthropic es una empresa estadounidense, pero la mayoría de mis recomendaciones también son relevantes para otras regiones del mundo.

Junto con este artículo, Anthropic publicará una propuesta legislativa sobre la prueba de modelos avanzados y un marco de políticas sobre la pérdida de empleos, y planeamos brindar un fuerte respaldo financiero para ello. Tenemos planes de hacer más en el futuro, pero consideramos estos pasos como una primera señal de nuestra seriedad.

1. Regulación y seguridad pública

Cada nueva tecnología o producto tiene usos beneficiosos y perjudiciales, lo que genera una situación de dilema entre la innovación y la seguridad. Regular un producto reduce la posibilidad de que cause daños y desempeña un papel importante en la mejora de la vida de las personas en todo el mundo, pero también puede reducir directamente sus beneficios e inhibir indirectamente la innovación. Existe también una perspectiva hayekiana que sostiene que los reguladores suelen carecer de la información necesaria para tomar decisiones adecuadas sobre complejos equilibrios económicos, por lo que la regulación suele ser ineficaz y engorrosa. Un concepto relacionado es el dilema de Collingridge, que señala que los efectos de una tecnología suelen ser difíciles de predecir hasta que es demasiado tarde para gestionarlos fácilmente.

En 2023-2024, estos desarrollos destacaron especialmente en el campo de la IA (expresión idiomática que significa destacar, llamar la atención o parecer amenazante). Para Anthropic, es claro que la IA en el futuro podría tener la capacidad de fabricar armas biológicas capaces de amenazar a millones de personas, o que su comportamiento autónomo inadecuado, en casos extremos, podría amenazar incluso a la humanidad misma. Lo menos claro es cómo se manifestarán exactamente estos riesgos, cómo se pueden probar y mitigar de la mejor manera, y cómo se desarrollarán en la práctica (expresión idiomática que significa desarrollarse, producir resultados). Por lo tanto, redactar legislación anticipada conlleva un alto riesgo de terminar siendo ineficaz: generar requisitos de cumplimiento sin sentido o de bajo valor, al tiempo que se pierden las fuentes más críticas de los riesgos reales (nota 2).

En última instancia, llegamos a la conclusión de que el enfoque correcto en ese momento era la transparencia. Los desarrolladores de modelos de IA deben revelar sus procedimientos de seguridad y las pruebas que realizan en sus modelos, así como informar sobre cualquier evento de seguridad crítico, para que el público y la comunidad científica puedan comprender mejor estos riesgos cuando surjan. Cuando y si los riesgos se vuelven más claros y su forma más definida, la evidencia obtenida mediante la transparencia puede utilizarse para diseñar legislación inteligente que aborde con precisión los riesgos más preocupantes. Por lo tanto, en 2025, Anthropic apoyó la legislación de transparencia, ayudando a aprobar el SB 53 de California, el RAISE de Nueva York y el SB 315 de Illinois (aprobado a principios de 2026), y abogó por la creación de estándares de transparencia a nivel federal.

Sin embargo, los riesgos actuales ya han quedado claramente evidentes. Es hora de ir más allá de la transparencia y establecer una regulación más seria y vinculante para la IA. Considero que, al menos en la fase actual de crecimiento exponencial, la mejor analogía son los automóviles, aviones o medicamentos: tecnologías poderosas e indispensables para la economía moderna, pero que, si se diseñan o operan incorrectamente, pueden causar la muerte de numerosas personas. Por lo tanto, creo que deberíamos basar el marco regulatorio de la IA en instituciones como la Administración Federal de Aviación (FAA). Los modelos de IA de vanguardia, como los aviones, deberían estar obligados a someterse a pruebas técnicas y auditorías, y si no cumplen con altos estándares de seguridad, su lanzamiento debería bloquearse o retirarse, considerándolos una amenaza para la seguridad pública. Agradezco ver que la orden ejecutiva del gobierno de Trump está avanzando hacia un mayor papel del gobierno en el ámbito de la IA, aunque la propuesta de Anthropic sugiere acciones aún más ambiciosas. Nuestra propuesta incluye los siguientes elementos:

• Los modelos que superen un umbral de capacidad de cómputo determinado deben someterse a pruebas obligatorias realizadas por terceros calificados para evaluar su nivel de riesgo en cuatro áreas específicas: ciberseguridad, armas biológicas, pérdida de control sobre sistemas de IA y el desarrollo automatizado que pueda acelerar estos otros riesgos.
• Si una evaluación de terceros determina que el modelo presenta riesgos inaceptables, el gobierno debe tener la autoridad para impedir o disuadir su implementación. Este poder debe limitarse estrictamente a los cuatro riesgos específicos mencionados anteriormente y debe incluir protecciones contra la parcialidad política o decisiones arbitrarias.
• La evaluación de terceros puede ser realizada por agencias gubernamentales (análogas a la FAA) o por un conjunto de organizaciones privadas autorizadas y verificadas por el gobierno para evaluar modelos según ciertos estándares (un enfoque de “mercado regulatorio”).
• Las empresas de IA que desarrollan modelos de IA avanzados deben tener estándares de seguridad robustos para proteger sus pesos de modelo, deben realizar pruebas regulares de red teaming y pruebas de penetración, y deben colaborar con gobiernos para defenderse de actores de amenazas principales.
• Los incidentes de seguridad en estos cuatro ámbitos clave deben informarse oportunamente.

Quizás llegue un día, quizás pronto, cuando los sistemas de IA más poderosos ya no parezcan aviones ni automóviles, sino más bien materiales nucleares weaponizables—una amenaza para la humanidad, y no solo “meramente” para la seguridad pública; en ese momento, necesitaremos ir más allá de esto. Si esto ocurre, podríamos necesitar medidas regulatorias más radicales de las que he enumerado anteriormente (nota 3). Sin embargo, al igual que en 2024 es difícil abordar y aplicar las medidas que sugiero ahora, creo que no deberíamos get ahead of ourselves (modismo que significa actuar con prematuridad o anticipación excesiva). Debemos diseñar políticas para los peligros que están surgiendo hoy, al tiempo que establecemos las bases para fortalecer más rápidamente nuestra respuesta cuando aparezcan nuevos peligros.

2. Política macroeconómica y fiscal

Durante mucho tiempo, los gobiernos de todo el mundo han enfrentado el desafío de fomentar el crecimiento económico, al mismo tiempo que proporcionan servicios públicos esenciales y garantizan que los grupos más vulnerables reciban atención. Un supuesto importante (y en general correcto) de estos debates es que el crecimiento económico es frágil y difícil de lograr: aunque reducir la desigualdad puede traer beneficios significativos, debe equilibrarse con la resistencia económica derivada de aumentar impuestos o déficits.

Sospecho que la poderosa IA podría alterar este supuesto. Si la IA adquiere una capacidad mucho superior a la humana para realizar la mayoría de las tareas cognitivas, es lógico que pueda generar un crecimiento económico extremadamente rápido y fuerte al acelerar la ciencia, la tecnología y la eficiencia operativa. La capacidad iterativa de la IA para construir mejores versiones de sí misma podría potenciar aún más este crecimiento. Pero por las mismas razones, en comparación con las tecnologías anteriores, la IA también podría actuar como un sustituto económico más generalizado de la capacidad cognitiva humana, y cambiar la economía más rápidamente que las tecnologías anteriores. Por lo tanto, hay motivos para creer que, en comparación con las tecnologías anteriores, la IA podría generar una perturbación mucho mayor, y potencialmente más duradera, en el mercado laboral. El riesgo que enfrentamos es terminar en un mundo donde el dial de las compensaciones económicas queda atascado en la configuración de supercrecimiento y superdesigualdad, y que pueda ser difícil desactivar esta configuración. En un mundo así, el desafío clave ya no será incentivar el crecimiento, sino encontrar una manera de que todos compartan los beneficios.

Entre los temas discutidos en este artículo, la macroeconomía y la sustitución laboral persistente pueden decirse que han atraído la mayor atención pública y la mayor cantidad de malentendidos, por lo que quiero aclarar dos puntos muy claramente.

En primer lugar, la pérdida persistente de empleos es indeseable y peligrosa, y debemos hacer todo lo posible para minimizarla o prevenirla, en lugar de fomentarla. He advertido sobre la pérdida de empleos en entrevistas y artículos, no porque intente ser un “profeta del apocalipsis”, sino porque deseo que los formuladores de políticas y el sector privado tengan las mejores oportunidades posibles para adaptarse y responder. Como empresa, Anthropic siempre ha hecho todo lo posible por colaborar con los clientes en la búsqueda de nuevos casos de uso creativos y nuevas fuentes de ingresos que les permitan lograr más con su fuerza laboral existente, en lugar de centrarse únicamente en la reducción de costos (lo que a menudo implica despidos). A medida que estos sistemas avanzan, también intentamos constantemente imaginar nuevos paradigmas de interacción que permitan a los humanos participar de manera activa en los sistemas de IA. Más ampliamente, es valioso que el mundo entero explore utilizar la IA de tantas nuevas formas como sea posible, ya que es así como la sociedad descubre nuevas configuraciones potenciales de empleo. Ciertamente creo que la IA traerá numerosas nuevas oportunidades económicas. He predicho que la IA permitirá que una sola persona cree una empresa valorada en mil millones de dólares, y ya hemos visto equipos de solo unas pocas personas construir empresas con ingresos de cientos de millones de dólares. Sin embargo, al mismo tiempo, debemos reconocer que, a pesar de todos nuestros esfuerzos, es muy probable que la IA cause un desempleo persistente y grave — algo que podría ser una propiedad inherente de la tecnología y su capacidad para replicar ampliamente las formas humanas de cognición (nota 4).

En segundo lugar, cualquier medida para abordar la pérdida de empleos impulsados por IA debe abordar tanto la necesidad de garantizar la seguridad económica para todos como la necesidad de que las personas encuentren significado, propósito y agencia. Lo último es finalmente más importante, y depende de preguntas profundas sobre cómo debería organizarse la sociedad, qué deberían perseguir las personas y qué constituye una vida buena. De hecho, soy muy optimista sobre la posibilidad de que, incluso en un mundo donde la IA sea superior a todos en todos los aspectos, los seres humanos aún puedan llevar vidas con un propósito profundo y esforzarse por crear cosas asombrosas y hermosas (nota 5). Pero este es un problema que requiere una solución colectiva de toda la sociedad, no algo que las políticas puedan resolver directamente. El lugar donde las políticas pueden tener el mayor impacto es al ralentizar el ritmo del desempleo y proporcionar seguridad económica a quienes puedan verse afectados, lo que nos brinda tiempo para realizar este trabajo.

En este espíritu, algunas intervenciones políticas clave que podrían ser útiles incluyen:

• Medir y rastrear. Es fácil descartar la simple recopilación y análisis de datos como insuficiente para abordar la escala del problema, pero si no podemos medir con precisión lo que realmente sucede, es poco probable que podamos elaborar políticas efectivas. Anthropic ha estado operando un índice económico sobre cómo las personas utilizan a Claude durante casi un año y medio, pero los gobiernos pueden acceder a tipos de datos que nosotros no podemos obtener y pueden ampliar significativamente sus estadísticas económicas para rastrear con mayor detalle el desempleo causado por la IA.
• Medidas de incentivo para el empleo. Amplias políticas de incentivo para el empleo pueden ayudar a ralentizar o reducir la pérdida de puestos de trabajo, incluyendo: políticas de seguro salarial que compensen a las personas cuando deben aceptar trabajos de bajos salarios (nota 6), incentivos fiscales para alentar a los empleadores a evitar despidos, subvenciones para la capacitación laboral, o infraestructura que facilite la coincidencia entre empleadores y empleados para acelerar la adaptación del mercado laboral. Aunque los detalles sobre cuál intervención es la mejor dependerán del tipo de sustitución laboral que traiga la IA, deberíamos aceptar con agrado los costos y las ineficiencias de mercado que estas políticas podrían generar, especialmente porque podrían ser compensados por el crecimiento de la productividad impulsado por la IA.
• Soporte macroeconómico a largo plazo. Si la sustitución de la fuerza laboral impulsada por la IA finalmente alcanza una escala masiva y reduce permanentemente la demanda de mano de obra, podría ser necesario ir más allá de los programas de incentivos y proporcionar apoyo de ingresos a largo plazo a una gran parte de la fuerza laboral. Mecanismos como el ingreso básico universal podrían financiarse mediante impuestos a las empresas relacionadas o aumentando los impuestos sobre las ganancias de capital. Las cuentas de capital universal ofrecen otra herramienta. En términos generales, un crecimiento económico rápido debería crear una base impositiva para la prosperidad compartida.

Una preocupación común sobre la IA que no mencioné es la de los centros de datos, especialmente su potencial para aumentar los precios de la energía. Mi postura es que las empresas de IA deberían asumir personalmente el costo del aumento de tarifas —y Anthropic ya se ha comprometido a hacerlo—, pero creo que la hostilidad pública hacia los centros de datos es en gran medida un símbolo o una vía de escape para las ansiedades económicas más amplias relacionadas con la IA. Es fundamental que tengamos un diálogo social directo sobre estos problemas económicos más amplios y que propongamos soluciones convincentes y concretas para abordarlos; de lo contrario, es probable que se manifiesten indirectamente, como ocurrió con el tema de los centros de datos.

3. Acelerar los efectos positivos de la IA

Al igual que debemos esforzarnos por equilibrar la innovación y la seguridad de la IA misma, también debemos esforzarnos por equilibrar aquellos campos que podrían ser acelerados por la IA, como la bioingeniería, la energía o la ciencia de materiales. Pero mientras que la IA misma podría generar desafíos nuevos y muy rápidos que no tenemos experiencia en manejar, otros campos impulsados por la IA podrían enfrentar un problema completamente diferente: sistemas regulatorios diseñados para ritmos de innovación más lentos que no están preparados para afrontar el flujo masivo de nuevos productos y avances que la IA traerá. La IA también podría hacer que estas tecnologías aguas abajo sean más seguras y predecibles, desafiando así las suposiciones escépticas mantenidas por agencias regulatorias como la FDA.

Por lo tanto, en cuanto a las aplicaciones de bajo nivel de la IA —en contraste con la IA en sí misma— me preocupa más que los reguladores ralenticen el progreso (porque no pueden hacer frente al ritmo acelerado del cambio) que el hecho de que no aborde los riesgos importantes. Lo que menos deseamos es que los beneficios de la IA se ralenticen mientras sus riesgos se acercan cada vez más, por lo que es importante actuar cuanto antes sobre este tema.

Este problema y sus soluciones se manifestarán de diversas maneras en los campos de la ciencia, el comercio y la tecnología, por lo que me centraré en un área ilustrativa: la innovación biomédica. Esto se debe tanto a que probablemente se convertirá en la fuente de los mayores beneficios humanitarios de la IA, como a que es un ámbito con una regulación particularmente compleja. No sabemos con certeza cómo la IA acelerará la innovación biomédica, pero parece probable que lo haga:

• Aumentar significativamente la velocidad con la que los candidatos a nuevos medicamentos ingresan al canal regulatorio;
• Aumentar el efecto del nuevo fármaco y mejorar su perfil de seguridad, gracias a una mejor optimización y posiblemente una comprensión más profunda de sus características biológicas potenciales;
• Desarrollar medicamentos candidatos para tratar enfermedades que nunca antes se habían tratado con éxito;
• Crear rápidamente nuevas formas de terapia, como los anticuerpos, los péptidos y las terapias celulares que en las últimas décadas se convirtieron en nuevas categorías de tratamientos.

Algunos de estos avances acelerarán naturalmente los plazos regulatorios sin necesidad de cambios estructurales. Medicamentos con un efecto más fuerte pueden conducir a ensayos clínicos más pequeños y de menor costo, y activar mecanismos de aprobación acelerada. Pero el sistema regulatorio actual está diseñado para imponer un alto nivel de revisión y múltiples fases de pruebas, asumiendo que los fármacos candidatos suelen ser ineficaces y, aunque sean efectivos, suelen presentar graves problemas de seguridad. Tanto en la FDA como en la Agencia Europea de Medicamentos (EMA), el tiempo típico que tarda un fármaco candidato en recorrer el canal regulatorio es de 7 a 8 años, en parte debido a estas suposiciones pesimistas. Sin reformas, la IA simplemente saturará o colapsará este sistema.

Claramente, no deseamos modificar las cosas de manera que genere una oleada de medicamentos de aceite de serpiente (slang para medicinas falsas y engañosas) o incidentes de seguridad generalizados. Pero algunas reformas relativamente simples podrían hacer que la FDA, la EMA y agencias similares sean más adaptables al rápido impulso científico impulsado por IA (si esto ocurre).

Muchos pasos de procesos clínicos que antes requerían experimentos costosos y lentos podrán realizarse rápidamente mediante simulación o análisis de IA. Las autoridades regulatorias deberían considerar ahora establecer criterios sobre qué condiciones deben cumplirse para aceptar estos métodos. Esto significa que, una vez que estos métodos demuestren su eficacia, podrán adoptarse rápidamente, en lugar de someterse a un período innecesariamente prolongado de pruebas adicionales requeridas. Los ámbitos a los que esto podría aplicarse incluyen:

• Modelado de farmacodinámica y farmacocinética (PD/PK) basado en IA;
• Predicción toxicológica para evitar la necesidad de estudios toxicológicos en múltiples especies animales;
• Selección más precisa de dosis para reducir la necesidad de un rango amplio de dosis en los ensayos;
• Validación de biomarcadores mediante el análisis de conjuntos de datos grandes;
• Grupo de control sintético en ensayos clínicos para reducir la necesidad de reclutar más participantes;
• Desarrollar puntos finales alternativos (esto es especialmente importante en el envejecimiento y las enfermedades neurodegenerativas).

Además de estos ejemplos específicos, las instituciones también deberían considerar mecanismos de aprobación acelerada más agresivos y flexibles. Si mi predicción sobre la IA es correcta, pronto surgirán muchas intervenciones inesperadas (modismo que significa de forma inesperada o repentina) con resultados excelentes, y el sistema regulatorio debería estar preparado para tomarlas en serio en lugar de adoptar una postura excesivamente escéptica.

La aceleración de la bioingeniería debería aumentar significativamente los beneficios de la IA, pero es importante destacar que también podría ayudar a reducir los riesgos de la IA. Reformar la aprobación de bioingeniería podría contribuir a la defensa biológica, y los avances en bioingeniería impulsados por IA también podrían mejorar la salud mental, lo que podría tener un efecto estabilizador en la sociedad.

4. Libertades nacionales y ciudadanas

Cada sistema gubernamental debe enfrentar el problema del poder del estado y sus límites. El estado tiene intereses legítimos, a menudo vitales, en proteger a su población contra amenazas internas y externas. Pero otorgarle demasiado poder es el camino hacia la tiranía. Los países democráticos modernos han logrado gestionar con éxito este equilibrio en gran medida, pero incluso en los mejores momentos, este equilibrio es inquietante. Mantener este equilibrio requiere numerosos mecanismos legales y constitucionales desarrollados a lo largo de siglos —por ejemplo, en Estados Unidos, las Enmiendas Primera, Cuarta y Quinta, la Ley Posse Comitatus, la Ley de Vigilancia de Inteligencia Extranjera (FISA), entre otras.

La IA amenaza con romper este equilibrio, pero también aumenta enormemente las apuestas. Sin embargo, si respondemos rápidamente y enfrentamos el desafío, podemos utilizar la IA para crear un mundo con garantías de libertad más fuertes y duraderas que nunca, y mejor protegido contra las amenazas.

Una IA poderosa en manos equivocadas podría ser la herramienta definitiva para la dictadura autoritaria, y nuestras leyes y protecciones constitucionales actuales no están completamente equipadas para enfrentar esta amenaza. En esencia, los enormes beneficios de poder que la inteligencia aporta al mundo, sumados al ritmo acelerado del progreso en el desarrollo de la IA, han creado una tormenta perfecta (perfect storm, modismo que significa una situación extremadamente mala causada por la simultaneidad de múltiples circunstancias negativas) para que diversos actores peligrosos adquieran poder de forma inesperada.

Este peligro puede adoptar diversas formas técnicas u operativas específicas, pero su punto en común es que la IA podría otorgar repentinamente un poder inmenso, mientras contorna (routing around, jerga/acepción figurada que significa evadir obstáculos o mecanismos de regulación) los mecanismos existentes de supervisión democrática. Hoy en día, un ejército completamente automatizado de drones suena como ciencia ficción, pero en el futuro podría obedecer órdenes ilegales y permitir que el gobierno consolide unilateralmente su poder; los humanos con formación profesional serían más propensos a oponerse a tales instrucciones ilegales. Una IA enfocada en la vigilancia podría analizar a gran escala información ampliamente disponible y utilizarla para inferir los detalles más íntimos de la vida de cada ciudadano: una capacidad tecnológica que las leyes actuales sobre libertades civiles no han considerado. Todo esto podría ocurrir en un período extremadamente breve o de forma secreta, por lo que es fundamental reforzar activamente el compromiso de los países democráticos con la libertad y las libertades civiles.

Algunas ideas de políticas que deberíamos considerar:

• Establezca reglas de responsabilidad confiables para armas completamente automáticas. Las armas completamente automáticas, especialmente cualquier sistema autónomo que las coordine o dirija, deben estar obligadas a responder a mecanismos constitucionales y de responsabilidad de mando (por ejemplo, órdenes judiciales, legislación y rendición de cuentas ante supervisores humanos de alto nivel), y no a obedecer ciegamente órdenes. Esto podría significar que un grupo de revisión legal bien diseñado o un órgano judicial tenga control sobre un “interruptor de apagado”, o que el sistema mismo, en su entrenamiento interno, busque y responda a instituciones de supervisión legítimas, o ambas cosas.
• Se prohíbe el uso de armas totalmente automáticas dentro del país. Aunque existe una justificación legítima y necesaria para usar armas totalmente automáticas contra adversarios extranjeros (por ejemplo, la invasión rusa de Ucrania), no hay ninguna razón para utilizarlas contra ciudadanos estadounidenses. La capacidad del ejército para operar dentro del país ya está sujeta a ciertas restricciones, pero idealmente, estas armas también deberían estar prohibidas en las operaciones de aplicación de la ley.
• Taponar la brecha de recolección masiva/agentes de datos. Según la ley vigente, los datos que los estadounidenses comparten con empresas privadas (como proveedores de internet) pueden ser comprados y utilizados para análisis masivos en vigilancia y aplicación de la ley internas. Esta brecha en la protección de la privacidad existía antes de la aparición de la IA, pero la IA aumentará enormemente el interés al hacer que el análisis masivo de estos datos sea mucho más revelador y práctico que en el pasado. Esta brecha debe ser taponada.
• Tener derecho público a obtener asesoría de IA frente a acciones gubernamentales adversas. Como principio general, parece crucial que cualquier persona u organización sujeta a acciones gubernamentales adversas (como regulación o acciones legales) tenga la oportunidad de acceder a una IA al menos tan poderosa como la que se permite al gobierno utilizar en dicha acción específica. Esto evitaría otorgar al gobierno una ventaja injusta que pudiera socavar efectivamente los derechos legítimos de los ciudadanos. Esto podría añadirse o interpretarse como una extensión de la Ley de Procedimiento Administrativo, las protecciones de debido proceso o el derecho a la asistencia legal bajo la Sexta Enmienda.

Finalmente, es importante destacar que, en cuanto al poder impulsado por la IA, los gobiernos no son la única entidad de la que debemos desconfiar. En diferentes épocas de la historia (como la Era Dorada en Estados Unidos o la Compañía Británica de las Indias Orientales), las empresas se volvieron lo suficientemente poderosas como para capturar al Estado o adoptar características cuasi estatales. La IA pronto será lo suficientemente poderosa como para que me preocupe que no pueda confiarse completamente y de forma segura ni a los gobiernos ni a las empresas, y que se necesiten mecanismos de contrapeso para ambas partes.

La regulación es una respuesta sobre cómo restringir las empresas (mi opinión al respecto se encuentra en la Sección 1), pero igualmente importante es que las empresas de IA deban tener una mayor distribución de poder y rendición de cuentas que las entidades privadas típicas. El fideicomiso de intereses a largo plazo de Anthropic (una entidad de gobernanza independiente diseñada para asegurar que la empresa cumpla su misión) es un ejemplo de tal estructura, y la industria debe seguir explorando mecanismos que vayan aún más lejos. Lograr el equilibrio adecuado —que el poder tanto de las empresas como del gobierno esté sujeto a restricciones significativas— es fundamental.

5. Asegurar el liderazgo de las democracias

Considerar nuevas tecnologías como herramientas de política comercial, con el objetivo de “difundir nuestra pila tecnológica en todo el mundo”, se ha convertido en un instinto común, quizás desarrollado a partir de la experiencia reciente en las industrias de internet y telecomunicaciones. Pero estoy firmemente convencido de que la IA es algo mucho más profundo, que reconfigura todo el tablero, y que todas las futuras estrategias geopolíticas deben girar en torno a ella—como las armas nucleares, pero potencialmente con un impacto aún mayor.

Si la IA realmente se convierte en muy pronto en “una nación de genios dentro de los centros de datos” o algo similar, es muy probable que la IA se convierta en la fuente principal de poder militar y económico para cualquier país. En una nación virtual con 100 millones de genios, se podrían asignar 10 millones a la estrategia militar, 10 millones a la fabricación de drones, 10 millones al desarrollo de armas, 10 millones a la recolección y análisis de inteligencia, 10 millones al progreso general de la ciencia, etc. Un país con una IA poderosa frente a un país sin IA—o incluso frente a uno que esté tres años atrás en IA—la brecha podría ser equivalente a una fuerza de infantería de marina de la Segunda Guerra Mundial enfrentándose a un ejército de caballeros medievales.

Además, si una IA poderosa puede lograr formas más profundas y posiblemente permanentes de represión autoritaria (véase la sección 4), se vuelve crucial garantizar que los países más poderosos del mundo sean democracias—o al menos que existan fuertes protecciones contra la represión impulsada por IA. Esto también aumenta la urgencia de desarrollar una estrategia geopolítica dirigida.

Los países democráticos deben buscar establecer una alianza global centrada en la construcción de IA según valores comunes, intentando iterativamente atraer al resto del mundo, haciendo que unirse a la alianza se vuelva cada vez más atractivo y que permanecer fuera de ella se vuelva cada vez menos atractivo. Esta alianza debería ser una internacionalización coordinada de las ideas de política de IA discutidas en las secciones 1 a 4, además de un esfuerzo por bloquear las cadenas de suministro clave necesarias para construir IA, compartiéndolas dentro de la alianza y rechazando proporcionarlas a personas externas. Algunos principios y objetivos operativos podrían incluir:

Gestionar la cadena de suministro de IA. Los miembros confiables de la alianza deben poder compartir libremente chips y equipos de fabricación de semiconductores (SME) entre sí, mientras coordinan esfuerzos para negar el acceso a sus competidores. Las restricciones estadounidenses sobre la exportación de chips y SME de vanguardia a China son una de las principales razones por las que Estados Unidos mantiene su liderazgo general en IA; estas políticas deben ampliarse, endurecerse y coordinarse con otros países aliados. Legislaciones pendientes como MATCH y OVERWATCH constituyen un buen punto de partida, y los países aliados democráticos deben considerar adoptar medidas similares.

• Coordinar esfuerzos para abordar los riesgos de la IA. Si se coordina a nivel internacional, las políticas descritas en la Sección 1 destinadas a abordar los riesgos biológicos, de ciberseguridad y de autonomía serán más efectivas (y al mismo tiempo menos onerosas para la industria). Esto significaría que las empresas podrían cumplir con normas mutuamente compatibles y que los reguladores podrían aprender unos de otros cómo medir y mitigar mejor estos riesgos. Las agencias de aplicación de la ley y de inteligencia también deberían colaborar más estrechamente para rastrear y bloquear amenazas de mal uso, como el intento de terroristas de utilizar la IA para crear armas biológicas.
• Compartir los beneficios de la IA. Las políticas comerciales y regulatorias pueden utilizarse para promover una difusión más rápida de los beneficios económicos de la IA dentro de la alianza, y compartir lecciones aprendidas sobre cómo acelerar la innovación. Coordinar métodos para una implementación beneficiosa puede ayudar a llevar los beneficios de la IA a los países en desarrollo. Por ejemplo, la armonización de los sistemas de aprobación médica puede permitir que los medicamentos habilitados por IA se prueben y aprueben más rápido y mejor (como se mencionó en la Sección 3 anterior).
• Defensa conjunta. Los países de la alianza deben colaborar para utilizar la IA en su propia defensa y en la defensa contra la IA de los adversarios. La alianza debe garantizar colectivamente la producción suficiente de defensa cibernética impulsada por IA, drones dirigidos por IA, manufactura impulsada por IA, capacidad de cómputo de IA confidencial, investigación y desarrollo impulsados por IA, y recolección de inteligencia impulsada por IA.
• Rechazar la represión habilitada por IA. Los miembros de la alianza deben rechazar la tiranía de alta tecnología, extremadamente autoritaria y habilitada por IA que advertí en La adolescencia de la tecnología, y deben tener garantías de seguridad similares a las descritas en la sección 4 anterior.
• Cooperación macroeconómica. La crisis de empleo o estabilidad laboral, al igual que cualquier otra crisis económica, tiene una naturaleza transnacional. Por lo tanto, los países tienen un interés común en coordinar la cooperación y las políticas de apoyo y estabilización macroeconómica (como se describe en la Sección 2) para contrarrestar cualquier impacto sobre el empleo.

El objetivo debe ser hacer que la membresía de la alianza sea lo más atractiva posible — y que el costo de permanecer fuera de ella sea evidente. La alianza se basará en la coordinación entre estados soberanos, cada uno de los cuales conserva el control total sobre sus asuntos internos. Puede desarrollarse de forma iterativa, comenzando con países democráticos alineados ideológicamente (fácilmente susceptibles de unirse) y ampliándose gradualmente para incluir a aquellos menos naturalmente compatibles pero dispuestos a cumplir con los estándares de la alianza a cambio de sus inmensos beneficios de membresía. Idealmente, el mundo entero terminará uniéndose. Pero incluso si esto no es posible, establecer esta alianza colocará a los países democráticos en la posición más fuerte para contener y superar a los regímenes obsesionados con los regímenes opresivos.

Ventana de oportunidad

El progreso exponencial de la IA ha generado una urgencia y un ritmo de transformación que los procesos de formulación de políticas suelen carecer de los recursos para abordar. Pero también ha creado una ventana de oportunidad única. La evidencia clara y realista de los riesgos de la IA, las primeras experiencias con su potencial para crear y destruir valor económico, y la fuerte reacción pública contra el manejo sin restricciones de la IA se entrelazan para formar una situación en la que los formuladores de políticas están excepcionalmente abiertos a la acción preventiva. Los barbas y su bosque están despertando.

Considerar esto como un problema de relaciones públicas se ha vuelto muy popular en el círculo de la industria de la IA: es decir, que la IA necesita “mejor marketing”. Rechazo completamente este marco. La gente se preocupa por la IA porque percibe correctamente que sus riesgos son reales, no porque los directores ejecutivos de IA no se comporten de manera lo suficientemente “panglossiana” (referencia literaria/adjetivo que describe un optimismo ciego). Creo que, como líder de IA, mi responsabilidad es seguir siendo transparente sobre estos riesgos, y la preocupación del público por esta transparencia representa el funcionamiento adecuado de la rendición de cuentas democrática. El desafío clave es canalizar esta preocupación hacia soluciones constructivas, sin que se convierta en ira invisible y violencia.

Soy optimista sobre encontrar soluciones, ya que muchos problemas —desde abordar el desempleo hasta probar modelos antes de su lanzamiento, desde las restricciones de exportación de chips hasta otros asuntos de política relacionados con la inteligencia artificial como el consumo energético— tienen un atractivo de sentido común en todo el espectro político. Existe un futuro deseable pero realista en el que una amplia alianza no partidista, impulsada por el reconocimiento directo de los desafíos que plantea la IA, aprobará políticas racionales y proactivas mucho más rápido de lo habitual. Cuanto antes lo hagamos, antes podremos compartir los beneficios increíbles de la IA.

Quiero agradecer a Allan Dafoe, Mariano-Florentino Cuéllar, Richard Fontaine, Buddy Shah, Vas Narasimhan, Matt Yglesias, Nick Beckstead, Jason Matheny, Brad Carson y a muchos empleados de Anthropic por sus comentarios y sugerencias sobre el borrador de este artículo.

Footnotes

En mi artículo “The Adolescence of Technology”, discutí los riesgos biológicos y los riesgos de autonomía, entre otros temas. Anthropic también ha publicado algunos datos internos preliminares sobre la posibilidad de mejora recursiva autónoma en “When AI Builds Itself”, es decir, la capacidad de los modelos para construir automáticamente modelos mejores.

Este fenómeno no es teórico: lo hemos observado en múltiples ocasiones dentro de nuestro propio marco de gobernanza voluntaria (como nuestra Política de Escalado Responsable). Si establecemos una lista fija o rígida de requisitos de seguridad para los modelos de IA futuros, un resultado muy probable es que los requisitos que resulten irrelevantes consuman el 95% de nuestros esfuerzos de cumplimiento, mientras descubrimos que algunas de las fuentes de riesgo más grandes no fueron anticipadas en absoluto en nuestra lista. Los marcos voluntarios pueden modificarse y ajustarse, pero esto es mucho más difícil para la legislación. Mi esfuerzo por abordar este dilema puede verse en las dos cartas que publiqué públicamente sobre el SB 1047, una ley de California de 2024 que intentaba abordar los riesgos catastróficos, y cuya postura respecto a la cual tengo sentimientos muy complejos por las razones antes mencionadas.

Por ejemplo, los riesgos biológicos verdaderamente graves pueden ser más difíciles de gestionar que los riesgos cibernéticos, ya que los atacantes tienen una gran ventaja sobre los defensores y la gravedad de los desastres puede ser mucho mayor.

Consulte "La adolescencia de la tecnología" para un análisis más detallado sobre por qué la lógica que lleva a una rápida recuperación del mercado laboral y a la ausencia de sustitución laboral duradera en otras tecnologías podría no aplicarse a la IA, especialmente por qué los mecanismos habituales de adaptación, como la paradoja de Jevons o la ventaja comparativa, podrían ser superados por el ritmo de la tecnología.

Por ejemplo, las personas aún dedican toda su vida a jugar al ajedrez o al go, o a escalar montañas altas, y aún son altamente respetadas por estas actividades, a pesar de que las máquinas pueden hacerlo mejor en todos estos aspectos.

Esto realmente brinda a las personas un incentivo adicional para cambiar de trabajo y comenzar a recibir capacitación para una nueva escalera profesional, incluso si a corto plazo puede ser doloroso, siempre que se logre pagando la diferencia entre su nuevo y antiguo salario.

Para obtener más información sobre este tema, consulte "La adolescencia de la tecnología". (Este artículo se publicó originalmente en la app Titanium Media, autor | Silicon Valley Tech_news, editor | Lin Shen)