Anthropic, la empresa detrás del modelo de IA Claude, publicó una entrada de blog el 4 de junio proponiendo algo que habría sonado impensable de un laboratorio de IA líder incluso hace un año: una pausa estructurada y temporal en el desarrollo de IA frontera en toda la industria.
La propuesta, escrita por Marina Favaro y Jack Clark, aborda un problema específico y verdaderamente inquietante: los modelos de IA están acercándose a la capacidad de auto-mejora recursiva, lo que significa que pueden modificar y mejorar sus propias capacidades sin intervención humana.
Lo que realmente está proponiendo Anthropic
Esto no es una llamada para desconectar todas las GPU y irse a casa. Anthropic aboga por un marco coordinado y multilateral en el que los principales laboratorios de IA acuerden suspender temporalmente el trabajo de desarrollo más avanzado mientras la investigación de seguridad y los sistemas de verificación se ponen al día.
Anthropic argumenta explícitamente que las acciones unilaterales, en las que una sola empresa o un solo país detiene sus actividades por sí solo, son insuficientes y posiblemente contraproducentes. La propuesta visualiza la cooperación entre laboratorios bien financiados en Estados Unidos, China y otros países con programas serios de IA. Anthropic enmarca el desafío de verificación en términos tomados del control de armas nucleares, donde los inspectores verifican el cumplimiento mediante mecanismos de detección acordados, en lugar de confiar únicamente en la confianza.
Anthropic dice que realizará su propia investigación para desarrollar estas herramientas de detección y verificación, creando el equivalente a inspectores de armas de IA: sistemas que puedan confirmar si un laboratorio continúa secretamente el desarrollo fronterizo mientras afirma públicamente cumplir con una pausa.
¿Por qué esta vez podría ser diferente a 2023
En 2023, una carta abierta que pedía una pausa de seis meses en el entrenamiento de IA más allá del nivel de GPT-4 reunió miles de firmas de investigadores y figuras destacadas de la tecnología. Logró aproximadamente nada. Las presiones competitivas resultaron mucho más persuasivas que la ansiedad colectiva, y cada laboratorio importante continuó desarrollando.
La propuesta de Anthropic es diferente en estructura. En lugar de pedir una moratoria vaga respaldada por firmas, la empresa propone un sistema de cumplimiento verificable. La analogía con el control de armas nucleares no está del todo fuera de lugar: los tratados internacionales de armas funcionan, cuando funcionan, debido a regímenes de inspección y consecuencias por incumplimiento, no porque los signatarios se hayan prometido con el meñique.
En 2023, la auto-mejora recursiva era una preocupación teórica. Ahora, las observaciones internas de Anthropic sugieren que los modelos actuales son cada vez más capaces de programar de forma autónoma, acercándose al umbral en el que un sistema de IA podría contribuir significativamente a su propia próxima iteración.
Qué significa esto para los inversores
Para cualquier persona con dinero invertido en activos relacionados con la inteligencia artificial, incluidos tokens de criptomoneda enfocados en IA y proyectos de cadena de bloques que utilizan aprendizaje automático, la propuesta de Anthropic introduce una nueva variable en el cálculo de riesgos. Un marco de pausa coordinada, incluso uno que nunca se materialice por completo, cambia la conversación de “¿deberíamos regular la IA?” a “¿cómo hacemos cumplir el cumplimiento a través de fronteras?”.
Los proyectos de criptomonedas impulsados por IA, desde redes de cómputo descentralizadas hasta tokens de agentes de IA, derivan parte de su propuesta de valor de la suposición de que el desarrollo de la IA continuará acelerándose sin interrupciones. Un marco de pausa creíble, o incluso un movimiento regulatorio serio en esa dirección, podría introducir incertidumbre en esas valoraciones.
Los sistemas de verificación descentralizados podrían convertirse en parte de la solución que Anthropic está buscando. Si necesitas verificar que los laboratorios de todo el mundo cumplen con los límites de desarrollo, un libro mayor transparente e inalterable no es la peor herramienta para el trabajo.