Anthropic, l'entreprise derrière le modèle d'IA Claude, a publié un article de blog le 4 juin proposant quelque chose qui aurait semblé impensable provenant d'un laboratoire d'IA de premier plan il y a encore un an : une pause structurée et temporaire sur le développement de l'IA de pointe dans toute l'industrie.
La proposition, rédigée par Marina Favaro et Jack Clark, vise un problème spécifique et véritablement inquiétant. Les modèles d'IA approchent la capacité de s'améliorer de manière récursive, ce qui signifie qu'ils peuvent modifier et renforcer leurs propres capacités sans intervention humaine.
Ce que Anthropic propose réellement
Ce n’est pas un appel à débrancher chaque GPU et à rentrer chez soi. Anthropic préconise un cadre coordonné et multilatéral dans lequel les principaux laboratoires d’IA s’engagent à suspendre temporairement les travaux de développement les plus avancés afin de laisser le temps à la recherche sur la sécurité et aux systèmes de vérification de rattraper le retard.
Anthropic affirme explicitement que les actions unilatérales, où une entreprise ou un pays ralentit seul, sont insuffisantes et potentiellement contre-productives. La proposition envisage une coopération entre des laboratoires bien dotés aux États-Unis, en Chine et dans d'autres pays disposant de programmes d'IA sérieux. Anthropic cadre le défi de vérification en s'appuyant sur des termes empruntés au contrôle des armes nucléaires, où des inspecteurs vérifient la conformité grâce à des mécanismes de détection convenus, plutôt que de s'appuyer uniquement sur la confiance.
Anthropic déclare qu'elle mènera ses propres recherches pour développer ces outils de détection et de vérification, créant l'équivalent d'inspecteurs d'armes IA — des systèmes capables de confirmer si un laboratoire continue secrètement le développement de pointe tout en prétendant publiquement respecter une pause.
Pourquoi cette fois pourrait être différente de 2023
En 2023, une lettre ouverte demandant une pause de six mois sur l'entraînement de l'IA au-delà du niveau GPT-4 a recueilli des milliers de signatures de chercheurs et de personnalités du secteur technologique. Elle a à peu près nullement réussi. Les pressions concurrentielles se sont révélées bien plus convaincantes que l'anxiété collective, et chaque grand laboratoire a continué à développer ses systèmes.
La proposition d'Anthropic est différente en structure. Plutôt que de demander un moratoire vague soutenu par des signatures, l'entreprise propose un système de conformité vérifiable. L'analogie avec le contrôle des armes nucléaires n'est pas entièrement déplacée : les traités internationaux sur les armes fonctionnent, lorsqu'ils fonctionnent, grâce à des régimes d'inspection et à des conséquences pour les fraudeurs, et non parce que les signataires se sont juré la main sur le cœur.
En 2023, l'amélioration récursive de soi était une préoccupation théorique. Désormais, les observations internes d'Anthropic suggèrent que les modèles actuels deviennent de plus en plus capables de coder de manière autonome, s'approchant progressivement du seuil où un système d'IA pourrait contribuer de manière significative à sa propre prochaine itération.
Ce que cela signifie pour les investisseurs
Pour toute personne détenant des actifs liés à l'IA, y compris des jetons crypto axés sur l'IA et des projets blockchain utilisant l'apprentissage automatique, la proposition d'Anthropic introduit une nouvelle variable dans le calcul des risques. Un cadre de pause coordonnée, même s'il ne se concrétise jamais, transforme la conversation de « devons-nous réguler l'IA » à « comment faisons-nous respecter la conformité à travers les frontières ».
Les projets crypto pilotés par l’IA, des réseaux de calcul décentralisés aux jetons d’agents IA, tirent une partie de leur proposition de valeur de l’hypothèse selon laquelle le développement de l’IA continuera d’accélérer sans interruption. Un cadre de pause crédible, ou même un mouvement réglementaire sérieux dans ce sens, pourrait introduire de l’incertitude dans ces évaluations.
Les systèmes de vérification décentralisés pourraient devenir une partie de la solution recherchée par Anthropic. Si vous devez vérifier que les laboratoires du monde entier respectent les limites de développement, un registre transparent et résistant à la falsification n’est pas le pire outil pour le faire.