Greg Jensen, co-directeur des investissements chez Bridgewater Associates, a formulé l'une des évaluations les plus sombres de la régulation de l'IA à ce jour le 11 septembre. Son argument central : l'histoire suggère que les gouvernements n'agiront pas avant qu'un événement véritablement terrible ne se produise.
« Jusqu’à ce que l’IA commence à tuer des gens, malheureusement, l’histoire suggère que nous ne ferons rien », a déclaré Jensen, comparant le moment actuel à février 2020, lorsque le COVID-19 se propageait déjà mondialement, mais que la plupart des gouvernements n’avaient pas encore mobilisé de réponse.
Une semaine de mises en garde croissantes
Les remarques de Jensen ont conclu une série de jours au cours desquelles plusieurs personnalités de premier plan ont exprimé des préoccupations sérieuses concernant la trajectoire du développement de l'IA. Les 9 et 10 septembre, des chercheurs d'Anthropic, notamment Jacob Coxon et Evan Hubinger, ont émis des avertissements nets sur le rythme actuel de la recherche en IA.
Coxon a démissionné d'Anthropic pendant cette période, citant les mêmes risques qu'il avait étudiés de l'intérieur. Les deux chercheurs ont averti que la trajectoire actuelle du domaine pourrait produire des superintelligences capables de s'améliorer elles-mêmes, des systèmes qui ne se contentent pas de suivre des instructions mais réécrivent leurs propres capacités.
Leur estimation était glaçante : une probabilité supérieure à 10 % d'extinction humaine due à l'IA dans la prochaine décennie.
Jensen a suggéré qu'un incident majeur lié à l'IA pourrait se produire dans les deux prochaines années si aucune mesure proactive n'est prise.
Washington commence à prêter attention
Des législateurs américains, notamment la représentante Lori Trahan et le sénateur Ted Cruz, ont poussé pour une action législative les 9 et 10 septembre, demandant des cadres qui imposeraient la transparence aux développeurs d'IA et établiraient des mécanismes de pause d'urgence pour les modèles à haut risque.
Ces propositions s'appuient sur les travaux d'un groupe indépendant des Nations Unies, qui a publié un rapport en juillet soulignant la croissance rapide des capacités de l'IA. La conclusion principale du groupe était inconfortable : l'IA progresse plus vite que la compréhension scientifique et les politiques gouvernementales ne peuvent le suivre.
Le groupe de l'ONU a spécifiquement averti contre le développement involontaire de systèmes trompeurs ou agents, des IA capables de poursuivre des objectifs de manière autonome et de potentiellement tromper les humains qui les supervisent.