Anthropic advierte que la IA podría entrar en una fase de autoaceleración pronto

Análisis de Beating AI: Anthropic advierte en su prospecto de IPO actualizado el 2 de noviembre que la IA podría cruzar pronto umbrales clave relacionados con la «mejora recursiva automática» (RSI), acelerando drásticamente el ritmo del desarrollo de IA. En el pasado, ya se han presentado casos en los que no se detectó a tiempo un aceleramiento significativo en el progreso del desarrollo hasta que ya había ocurrido. Actualmente, Claude ya participa en la escritura de código, la ejecución de experimentos y el procesamiento de datos de entrenamiento, ayudando a desarrollar modelos de próxima generación más potentes. Estos nuevos modelos, a su vez, pueden acelerar aún más el desarrollo posterior, creando un ciclo de aceleración constante. Según la política de seguridad de Anthropic, se considera que se ha alcanzado este umbral clave en dos escenarios: 1) cuando la IA puede realizar todo el trabajo de un equipo completo de investigación de IA con un costo similar; o 2) cuando logra duplicar al menos la velocidad del progreso tecnológico en IA, reduciendo a un año el avance que anteriormente requería dos años. A medida que la IA se involucra cada vez más en su propio desarrollo, la capacidad de los modelos podría crecer más rápido que la actualización de las evaluaciones de seguridad, la investigación de alineación y las medidas de protección. Anthropic aún no ha determinado que ningún modelo existente haya alcanzado este nivel; esta advertencia se basa principalmente en estimaciones internas y predicciones sobre modelos futuros. Actualmente se están considerando modificaciones a la política de seguridad para garantizar que los procesos clave de desarrollo sigan siendo supervisados y controlados por humanos.