Anthropic advierte sobre la inminente capacidad de mejora recursiva autónoma de la IA

icon币界网
Compartir
AI summary iconResumen
Anthropic reveló en su presentación actualizada S-1A que está cerca de lograr la auto-mejora recursiva (RSI) en modelos de IA. El indicador RSI, si se cruza, podría desencadenar un avance rápido de la IA. La empresa advirtió que el desarrollo impulsado por IA podría superar los protocolos de seguridad. Bajo su Política de Escalación Responsable, Anthropic está monitoreando de cerca el tema. Los niveles de soporte y resistencia en el crecimiento de la capacidad de IA son ahora un foco clave. La supervisión humana seguirá siendo esencial en el corto plazo. Ningún modelo ha alcanzado aún el umbral de RSI.
CoinDesk informa:

Aunque el lunes el enfoque externo se centró principalmente en los últimos datos financieros revelados por Anthropic en su archivo revisado S-1A: ingresos en aumento y gastos que también crecen, este laboratorio de IA también lanzó otra "pequeña bomba" en los detalles del documento.

Este documento parece advertir que la empresa está cerca de crear un modelo con capacidad de mejora recursiva automática (recursive self-improvement, RSI).

RSI se refiere a que la IA se vuelve lo suficientemente fuerte en su propio entrenamiento como para provocar un aceleramiento dramático de su capacidad. Para los apocalípticos de la IA, RSI representa un desastre sin retorno: la IA se construye a sí misma hasta convertirse en algo lo suficientemente poderoso como para escapar del control humano y posiblemente ignorar los daños causados en el proceso de alcanzar sus objetivos.

Para los optimistas de la IA, el RSI, o alguna versión confiable de IA que se mejore a sí misma, representa el potencial de esta tecnología: se convertirá en una herramienta que generará productividad, descubrimientos científicos y otros logros inconcebibles.

Anthropic parece considerar que el RSI es tanto una promesa como un riesgo. La empresa indica en su S-1 que utiliza IA en su investigación y desarrollo, pero también advierte: “Utilizar IA para ayudar a crear IA más potente también puede conllevar riesgos de seguridad significativos, especialmente cuando esto acelera considerablemente el progreso. Este es uno de los ámbitos cubiertos por nuestra Política de Expansión Responsable, que describe nuestros planes para monitorear y mitigar riesgos al acercarnos a lo que se denomina ‘mejora recursiva automática’.”

Cuando el término RSI se volvió popular a principios de este año, muchas personas pensaron que era solo una moda o, como máximo, un objetivo demasiado difícil de lograr, definir o demostrar.

Pero el lunes, Anthropic añadió una nueva declaración en su sección de “factores de riesgo”, indicando que 1) la empresa ya había utilizado IA para desarrollar algunos nuevos modelos, pero en ese momento no se daba cuenta del salto en sus capacidades; 2) la empresa podría alcanzar pronto su definición interna de RSI (lo siguiente está en negrita como énfasis original):

Además, cada vez utilizamos más sistemas de IA para acelerar nuestra propia investigación y desarrollo, lo que podría provocar que la velocidad de mejora de las capacidades de nuestros modelos supere la velocidad con la que desarrollamos, verificamos e implementamos medidas de seguridad, alineación y protección adecuadas. Por lo tanto, en el pasado podríamos no haber identificado, y en el futuro podríamos no ser capaces de identificar, un aumento significativo en la velocidad de investigación y desarrollo hasta que ya haya ocurrido.

Por ejemplo, nuestras estimaciones internas y expectativas sobre modelos futuros, en lugar de juicios sobre modelos actuales, indican que podríamos estar a punto de alcanzar la definición de “progresos significativos acelerados facilitados por IA” en la Política de Expansión Responsable. Aún no hemos clasificado ningún modelo actual como superando este umbral, y seguimos evaluando los datos subyacentes relevantes.

Sin embargo, Anthropic también indica en el documento que ninguno de sus modelos ha superado aún este umbral del RSI, y la empresa se compromete a seguir involucrando a humanos en el proceso de desarrollo en el futuro previsible. La empresa afirma: “Prevemos que no será seguro utilizar a Claude para diseñar y construir de forma completamente autónoma generaciones sucesivas de modelos de vanguardia sin una supervisión o comprensión humana significativa, incluso si y cuando esto se vuelva técnicamente posible. Por lo tanto, estamos considerando actualizar la Política de Expansión Responsable para mantener el control humano sobre el desarrollo de los modelos de vanguardia de Anthropic.”

Los escépticos podrían señalar que el S-1 es tanto un documento de divulgación como un material de marketing, y que afirmar estar cerca de un modelo lo suficientemente poderoso como para autogenerarse podría caer dentro de este último.

Sin embargo, sin duda alguna, las capacidades de Claude, especialmente en programación, matemáticas y ciberseguridad, han experimentado un avance espectacular este año. Si Anthropic considera que la posibilidad de RSI está muy cerca, tal vez deberíamos creerlo y actuar en consecuencia—quizás también implementar una gobernanza adecuada.

Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información. Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.