Aunque el lunes el enfoque externo se centró principalmente en los últimos datos financieros revelados por Anthropic en su archivo revisado S-1A: ingresos en aumento y gastos que también crecen, este laboratorio de IA también lanzó otra "pequeña bomba" en los detalles del documento.
Este documento parece advertir que la empresa está cerca de crear un modelo con capacidad de mejora recursiva automática (recursive self-improvement, RSI).
RSI se refiere a que la IA se vuelve lo suficientemente fuerte en su propio entrenamiento como para provocar un aceleramiento dramático de su capacidad. Para los apocalípticos de la IA, RSI representa un desastre sin retorno: la IA se construye a sí misma hasta convertirse en algo lo suficientemente poderoso como para escapar del control humano y posiblemente ignorar los daños causados en el proceso de alcanzar sus objetivos.
Para los optimistas de la IA, el RSI, o alguna versión confiable de IA que se mejore a sí misma, representa el potencial de esta tecnología: se convertirá en una herramienta que generará productividad, descubrimientos científicos y otros logros inconcebibles.
Anthropic parece considerar que el RSI es tanto una promesa como un riesgo. La empresa indica en su S-1 que utiliza IA en su investigación y desarrollo, pero también advierte: “Utilizar IA para ayudar a crear IA más potente también puede conllevar riesgos de seguridad significativos, especialmente cuando esto acelera considerablemente el progreso. Este es uno de los ámbitos cubiertos por nuestra Política de Expansión Responsable, que describe nuestros planes para monitorear y mitigar riesgos al acercarnos a lo que se denomina ‘mejora recursiva automática’.”
Cuando el término RSI se volvió popular a principios de este año, muchas personas pensaron que era solo una moda o, como máximo, un objetivo demasiado difícil de lograr, definir o demostrar.
Pero el lunes, Anthropic añadió una nueva declaración en su sección de “factores de riesgo”, indicando que 1) la empresa ya había utilizado IA para desarrollar algunos nuevos modelos, pero en ese momento no se daba cuenta del salto en sus capacidades; 2) la empresa podría alcanzar pronto su definición interna de RSI (lo siguiente está en negrita como énfasis original):
Además, cada vez utilizamos más sistemas de IA para acelerar nuestra propia investigación y desarrollo, lo que podría provocar que la velocidad de mejora de las capacidades de nuestros modelos supere la velocidad con la que desarrollamos, verificamos e implementamos medidas de seguridad, alineación y protección adecuadas. Por lo tanto, en el pasado podríamos no haber identificado, y en el futuro podríamos no ser capaces de identificar, un aumento significativo en la velocidad de investigación y desarrollo hasta que ya haya ocurrido.
Por ejemplo, nuestras estimaciones internas y expectativas sobre modelos futuros, en lugar de juicios sobre modelos actuales, indican que podríamos estar a punto de alcanzar la definición de “progresos significativos acelerados facilitados por IA” en la Política de Expansión Responsable. Aún no hemos clasificado ningún modelo actual como superando este umbral, y seguimos evaluando los datos subyacentes relevantes.
Sin embargo, Anthropic también indica en el documento que ninguno de sus modelos ha superado aún este umbral del RSI, y la empresa se compromete a seguir involucrando a humanos en el proceso de desarrollo en el futuro previsible. La empresa afirma: “Prevemos que no será seguro utilizar a Claude para diseñar y construir de forma completamente autónoma generaciones sucesivas de modelos de vanguardia sin una supervisión o comprensión humana significativa, incluso si y cuando esto se vuelva técnicamente posible. Por lo tanto, estamos considerando actualizar la Política de Expansión Responsable para mantener el control humano sobre el desarrollo de los modelos de vanguardia de Anthropic.”
Los escépticos podrían señalar que el S-1 es tanto un documento de divulgación como un material de marketing, y que afirmar estar cerca de un modelo lo suficientemente poderoso como para autogenerarse podría caer dentro de este último.
Sin embargo, sin duda alguna, las capacidades de Claude, especialmente en programación, matemáticas y ciberseguridad, han experimentado un avance espectacular este año. Si Anthropic considera que la posibilidad de RSI está muy cerca, tal vez deberíamos creerlo y actuar en consecuencia—quizás también implementar una gobernanza adecuada.
