Bien que l'attention extérieure se soit principalement concentrée lundi sur les dernières données financières révélées par Anthropic dans son document S-1A révisé — les revenus en forte hausse, les dépenses augmentant également de même — ce laboratoire d'IA a également lancé un autre « petit choc » dans les détails du document.
Ce document semble avertir que l'entreprise s'approche de la création d'un modèle capable d'amélioration récursive automatique (recursive self-improvement, RSI).
RSI désigne le moment où l'IA devient suffisamment puissante pour accélérer de manière spectaculaire ses propres capacités. Pour les apocalyptiques de l'IA, le RSI représente un désastre sans retour : l'IA se construit elle-même en une entité suffisamment puissante pour échapper au contrôle humain et risque d'ignorer les dommages causés dans la poursuite de ses objectifs.
Pour les optimistes de l'IA, l'RSI, ou une version fiable de l'IA capable de s'améliorer elle-même, représente la promesse de cette technologie : elle deviendra un outil générant une productivité, des découvertes scientifiques et d'autres résultats inimaginables.
Anthropic semble considérer que l'RSI est à la fois une promesse et un risque. Dans son document S-1, l'entreprise indique qu'elle utilise l'IA dans ses activités de recherche et développement, tout en avertissant : « Utiliser l'IA pour aider à créer des IA plus puissantes peut également entraîner des risques sécuritaires considérables, particulièrement lorsque cela accélère significativement les progrès. C'est l'un des domaines couverts par notre politique de déploiement responsable, qui décrit notre plan pour surveiller et atténuer les risques lorsque nous approchons ce qu'on appelle la 'révision auto-récurrente' ».
Lorsque le terme RSI a gagné en popularité au début de cette année, beaucoup ont pensé qu'il s'agissait simplement d'un mot à la mode, ou tout au plus d'un objectif trop difficile à réaliser, définir ou prouver.
Mais lundi, Anthropic a ajouté une déclaration dans sa section « Facteurs de risque » indiquant que 1) l'entreprise a utilisé l'IA pour développer certains nouveaux modèles, sans alors réaliser la progression de leurs capacités ; 2) l'entreprise pourrait bientôt atteindre sa définition interne de l'RSI (les éléments en gras ci-dessous sont soulignés dans le texte original) :
De plus, notre utilisation croissante de systèmes d'IA pour accélérer notre propre recherche et développement pourrait entraîner une augmentation de la capacité de nos modèles plus rapide que notre capacité à développer, valider et mettre en œuvre les mesures de sécurité, d'alignement et de protection correspondantes. Par conséquent, nous n'avons peut-être pas identifié par le passé, et pourrions ne pas identifier à l'avenir, une accélération significative du rythme de recherche et développement, jusqu'à ce qu'elle se soit déjà produite.
Par exemple, nos estimations et attentes internes concernant les modèles futurs, et non les évaluations des modèles actuels, suggèrent que nous pourrions bientôt atteindre la définition de « progrès significatif accéléré facilité par l’IA » dans la politique de déploiement responsable. Nous n’avons pas encore classé aucun modèle actuel comme dépassant ce seuil, et nous continuons d’évaluer les données sous-jacentes.
Cependant, Anthropic indique également dans le document que aucun de ses modèles n'a encore franchi ce seuil RSI, et que l'entreprise s'engage à maintenir la participation humaine dans le processus de développement à l'horizon prévisible. L'entreprise déclare : « Nous prévoyons qu'il ne sera pas sécuritaire d'utiliser Claude pour concevoir et construire de manière entièrement autonome des générations successives de modèles de pointe sans une supervision ou une compréhension humaine significatives, même lorsque cela deviendra techniquement possible. Par conséquent, nous envisageons de mettre à jour notre politique de développement responsable afin de maintenir le contrôle humain sur le développement des modèles de pointe d'Anthropic. »
Les sceptiques pourraient souligner que le S-1 est à la fois un document de divulgation et un support de marketing, et que prétendre être proche d’un modèle puissant capable de s’auto-construire relève peut-être de ce dernier.
Cependant, il est indéniable que les capacités de Claude, notamment en programmation, mathématiques et cybersécurité, ont connu une progression fulgurante cette année. Si Anthropic estime que la possibilité d'RSI est désormais proche, nous devrions peut-être y croire et agir en conséquence — peut-être même mettre en place une gouvernance appropriée.
