Anthropic alerte sur l'approche de la capacité d'amélioration récursive automatique de l'IA

icon币界网
Partager
AI summary iconRésumé
Anthropic a révélé dans son dossier mis à jour S-1A qu'elle est proche de réaliser une amélioration récursive automatique (RSI) dans les modèles d'IA. L'indicateur RSI, s'il est franchi, pourrait déclencher une avancée rapide de l'IA. L'entreprise a averti que le développement piloté par l'IA pourrait dépasser les protocoles de sécurité. Dans le cadre de sa politique de mise à l'échelle responsable, Anthropic suit étroitement cette question. Les niveaux de support et de résistance dans la croissance des capacités de l'IA sont désormais un point clé. La supervision humaine restera essentielle à court terme. Aucun modèle n'a encore atteint le seuil RSI.
CoinGape rapporte :

Bien que l'attention extérieure se soit principalement concentrée lundi sur les dernières données financières révélées par Anthropic dans son document S-1A révisé — les revenus en forte hausse, les dépenses augmentant également de même — ce laboratoire d'IA a également lancé un autre « petit choc » dans les détails du document.

Ce document semble avertir que l'entreprise s'approche de la création d'un modèle capable d'amélioration récursive automatique (recursive self-improvement, RSI).

RSI désigne le moment où l'IA devient suffisamment puissante pour accélérer de manière spectaculaire ses propres capacités. Pour les apocalyptiques de l'IA, le RSI représente un désastre sans retour : l'IA se construit elle-même en une entité suffisamment puissante pour échapper au contrôle humain et risque d'ignorer les dommages causés dans la poursuite de ses objectifs.

Pour les optimistes de l'IA, l'RSI, ou une version fiable de l'IA capable de s'améliorer elle-même, représente la promesse de cette technologie : elle deviendra un outil générant une productivité, des découvertes scientifiques et d'autres résultats inimaginables.

Anthropic semble considérer que l'RSI est à la fois une promesse et un risque. Dans son document S-1, l'entreprise indique qu'elle utilise l'IA dans ses activités de recherche et développement, tout en avertissant : « Utiliser l'IA pour aider à créer des IA plus puissantes peut également entraîner des risques sécuritaires considérables, particulièrement lorsque cela accélère significativement les progrès. C'est l'un des domaines couverts par notre politique de déploiement responsable, qui décrit notre plan pour surveiller et atténuer les risques lorsque nous approchons ce qu'on appelle la 'révision auto-récurrente' ».

Lorsque le terme RSI a gagné en popularité au début de cette année, beaucoup ont pensé qu'il s'agissait simplement d'un mot à la mode, ou tout au plus d'un objectif trop difficile à réaliser, définir ou prouver.

Mais lundi, Anthropic a ajouté une déclaration dans sa section « Facteurs de risque » indiquant que 1) l'entreprise a utilisé l'IA pour développer certains nouveaux modèles, sans alors réaliser la progression de leurs capacités ; 2) l'entreprise pourrait bientôt atteindre sa définition interne de l'RSI (les éléments en gras ci-dessous sont soulignés dans le texte original) :

De plus, notre utilisation croissante de systèmes d'IA pour accélérer notre propre recherche et développement pourrait entraîner une augmentation de la capacité de nos modèles plus rapide que notre capacité à développer, valider et mettre en œuvre les mesures de sécurité, d'alignement et de protection correspondantes. Par conséquent, nous n'avons peut-être pas identifié par le passé, et pourrions ne pas identifier à l'avenir, une accélération significative du rythme de recherche et développement, jusqu'à ce qu'elle se soit déjà produite.

Par exemple, nos estimations et attentes internes concernant les modèles futurs, et non les évaluations des modèles actuels, suggèrent que nous pourrions bientôt atteindre la définition de « progrès significatif accéléré facilité par l’IA » dans la politique de déploiement responsable. Nous n’avons pas encore classé aucun modèle actuel comme dépassant ce seuil, et nous continuons d’évaluer les données sous-jacentes.

Cependant, Anthropic indique également dans le document que aucun de ses modèles n'a encore franchi ce seuil RSI, et que l'entreprise s'engage à maintenir la participation humaine dans le processus de développement à l'horizon prévisible. L'entreprise déclare : « Nous prévoyons qu'il ne sera pas sécuritaire d'utiliser Claude pour concevoir et construire de manière entièrement autonome des générations successives de modèles de pointe sans une supervision ou une compréhension humaine significatives, même lorsque cela deviendra techniquement possible. Par conséquent, nous envisageons de mettre à jour notre politique de développement responsable afin de maintenir le contrôle humain sur le développement des modèles de pointe d'Anthropic. »

Les sceptiques pourraient souligner que le S-1 est à la fois un document de divulgation et un support de marketing, et que prétendre être proche d’un modèle puissant capable de s’auto-construire relève peut-être de ce dernier.

Cependant, il est indéniable que les capacités de Claude, notamment en programmation, mathématiques et cybersécurité, ont connu une progression fulgurante cette année. Si Anthropic estime que la possibilité d'RSI est désormais proche, nous devrions peut-être y croire et agir en conséquence — peut-être même mettre en place une gouvernance appropriée.

Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations. Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.