Anthropic avertit que l'IA pourrait entrer bientôt dans une phase d'accélération autonome

Décryptage Beating AI : Dans son prospectus d'introduction en bourse mis à jour le 2 novembre, Anthropic a averti que l'IA pourrait bientôt franchir une barrière critique liée à l'amélioration récursive de soi (RSI), accélérant considérablement le rythme du développement de l'IA. Par le passé, des accélérations significatives du progrès technologique ont été négligées jusqu'à ce qu'elles se produisent. Actuellement, Claude participe déjà à l'écriture de code, à l'exécution d'expériences et au traitement des données d'entraînement, aidant ainsi à développer les prochains modèles plus puissants. Ces nouveaux modèles, à leur tour, accélèrent les recherches ultérieures, créant une boucle d'accélération continue. Selon la politique de sécurité d'Anthropic, deux scénarios définissent le franchissement de cette barrière critique : 1. L'IA est capable d'accomplir l'ensemble du travail d'une équipe de recherche en IA au même coût ; 2. Ou elle double au moins la vitesse de progrès de la technologie IA, réduisant à un an les avancées qui auraient normalement nécessité deux ans. À mesure que l'IA s'implique de plus en plus dans son propre développement, les capacités des modèles pourraient progresser plus rapidement que les mises à jour des évaluations de sécurité, des recherches sur l'alignement et des mesures de protection. Anthropic n'a pas encore déterminé qu'aucun modèle actuel n'atteint ce niveau ; cet avertissement repose principalement sur des estimations internes et des prévisions concernant les futurs modèles. L'entreprise envisage actuellement de modifier sa politique de sécurité afin de garantir que les processus clés de développement restent supervisés et contrôlés par des humains.