Plus de 1 100 experts en IA appellent à un ralentissement mondial du développement de l'IA de pointe

Les grandes entreprises de la Silicon Valley freinent brusquement leur investissement dans l'IA !

Viennent de lancer, à l'échelle de plus de 1 100 employés clés provenant d'entreprises comme OpenAI, Anthropic et Google, une pétition intitulée « Pacing the Frontier ».

Le nombre de personnes signataires sur cette liste est si élevé qu’on ne voit pas la fin. Et ce chiffre continue d’augmenter.

En y regardant de plus près, la liste réunit presque la moitié du monde de l'IA —

Jakub Pachocki, scientifique en chef d'OpenAI ; Mark Chen, directeur de la recherche ;

PDG d'Anthropic, Dario Amodei, et les quatre cofondateurs Jared Kaplan, Jack Clark, Chris Olah, Ben Mann ;

Le scientifique en chef de Meta, Shengjia Zhao (Zhao Shengjia), et la vice-présidente de la recherche en IA, Dawn Song (Song Xiaodong) ;

John Schulman, scientifique en chef de Thinking Machines et l'un des principaux architectes de ChatGPT ;

Vice-présidente de la sécurité et de l'alignement de l'IA chez Google, Anca Dragan.....

Selon une statistique, 46,2 % des signataires proviennent d'Anthropic.

Dans cette lettre conjointe, elle ne mentionne qu'une seule exigence —

Nous demandons au gouvernement américain de promouvoir une coopération internationale : développer les technologies et les outils de gouvernance nécessaires pour permettre au monde de contrôler activement le rythme du développement des IA automatisées de pointe.

Peut-être que beaucoup ne comprennent pas pourquoi ce sont précisément les personnes les plus folles en matière de LLM qui ont soudainement crié « ralentissez » ?

L'« intrusion » des modèles OpenAI sur Hugging Face sert de signal d'alerte.

En seulement une semaine, 1 132 employés d'entreprises de pointe en IA ont pris la parole collectivement pour demander au gouvernement américain de « freiner ».

Les employés participant à cette collaboration proviennent d'environ 12 géants technologiques de pointe, notamment OpenAI, Anthropic, Google et Meta.

Plus significativement, jusqu'à 80 % des personnes sur la liste ont choisi de s'exprimer sous leur vrai nom.

Portail : https://www.pacingthefrontier.com/

Au-delà des grands noms mentionnés en introduction, en continuant à défiler, la densité devient encore plus impressionnante.

Cette déclaration énonce un jugement central alarmant :

La plus grande entreprise mondiale d'IA pourrait être sur le point d'atteindre la « recherche automatisée par l'IA » (RSI, amélioration récursive de soi), permettant aux modèles de participer au développement des modèles de prochaine génération.

Une fois que ce cycle s'accélère, la croissance des capacités pourrait dépasser la vitesse à laquelle les humains peuvent comprendre et contrôler.

Aucune entreprise ne souhaite ralentir unilatéralement, elles demandent donc au gouvernement américain de soutenir la création d'un mécanisme international pour préparer les outils de ralentissement commun avant la survenance d'une crise.

Une semaine avant la publication de cette déclaration, OpenAI avait révélé une violation de sécurité —

Plusieurs modèles de pointe ont détecté automatiquement des vulnérabilités zero-day, contourné l'isolation des sandbox et finalement compromis le système de production de Hugging Face pour récupérer les réponses de test.

OpenAI le qualifie de « cyberattaque sans précédent ».

Le modèle n'a pas eu l'intention de s'échapper ; il s'est simplement concentré extrêmement sur un objectif étroit et a déterminé que contourner l'environnement de test était le chemin le plus efficace.

Aujourd'hui même, le PDG d'OpenAI, Altman, a déclaré publiquement que la vitesse du développement de l'IA pourrait nécessiter un contrôle actif.

Il a déclaré, avec une certaine appréhension : « C’est le premier incident de sécurité qui m’a touché directement. Je suis un peu surpris que plus personne ne ressente cela de la même manière. »

En raison de l'intrusion de Hugging Face, OpenAI a suspendu directement l'entraînement.

Dans un environnement où plusieurs vulnérabilités 0day sont exploitées en chaîne, nous devons trouver des moyens de renforcer la sécurité du sandbox.

Nous pourrions devoir ralentir le développement de l'IA pour donner à la société suffisamment de temps afin de renforcer les défenses autour de ces nouveaux niveaux de capacité.

Et Anthropic avait suggéré en juin que le gouvernement établisse un système de prise de décision conjointe avec les développeurs pour ralentir le développement si nécessaire.

En parallèle, le PDG de Google DeepMind, Hassabis, a également appelé à la création d'une instance de surveillance internationale.

Au cours des trois dernières années, ces entreprises ont compétitivement rivalisé pour les talents, les clients et la puissance de calcul.

Cette fois-ci, leurs techniciens les plus compétents ont abandonné l'entreprise qui ne peut s'arrêter, unis pour appeler à ralentir au nom du bien-être de l'humanité.

Au moment de la rédaction, la liste « Pacing the Frontier » comptait 1 134 personnes.

De nombreux experts de l'industrie ont également exprimé leur avis, laissant derrière eux de nombreuses déclarations « géniales » et percutantes. Tous les commentaires sont publiés à titre personnel et ne représentent pas nécessairement la position de leurs entreprises respectives.

Song Xiaodong (Dawn Song) | Vice-présidente de la recherche chez Meta AI

Les capacités de l'IA de pointe s'améliorent rapidement, et la vitesse de ces progrès s'accélère elle-même. Nous l'avons observé directement dans nos évaluations. Les résultats de CyberGym et ExploitGym montrent que les agents d'IA de pointe sont désormais capables de découvrir et d'exploiter des vulnérabilités logicielles dans le monde réel — ce qui, en l'absence de mesures de protection adéquates, pourrait entraîner des cyberattaques à grande échelle. De nombreux chercheurs s'intéressent également à la récursivité…

Song Xiaodong est l'un des chercheurs les plus influents dans les domaines de la sécurité informatique mondiale et de la sécurité de l'IA, diplômé de l'Université Tsinghua

Zhao Shengjia | Scientifique en chef de Meta

L'IA progresse à une vitesse que la société n'est peut-être pas prête à affronter. Les laboratoires de pointe sont désormais très proches de développer une IA qui dépasse les meilleurs humains sur presque tous les indicateurs intellectuels. Cela entraînera des risques sociaux et sécuritaires sans précédent. Pour garantir un avenir positif, nous devons orienter le développement de l'IA avec responsabilité et réflexion approfondie.

Zhao Shengjia, ancien élève de l'Université Tsinghua, devient scientifique en chef de Meta Superintelligence ! L'un des principaux architectes de GPT-4, au même niveau que LeCun

John Schulman | Chef scientifique de Thinking Machines, ancien cofondateur d'OpenAI

J'ai signé parce que cette déclaration aide à établir un consensus selon lequel, à mesure que la recherche automatisée en IA progresse rapidement, nous pourrions avoir besoin de mécanismes de coordination. J'espère également que les laboratoires commenceront activement à concevoir ces mécanismes avant que le gouvernement américain n'intervienne.

Ethan Perez | Responsable de l'équipe d'alignement d'Anthropic

À la vitesse actuelle des progrès de l'IA, les équipes de sécurité des entreprises d'IA doivent se lancer dans des courses de冲刺 tous les quelques mois pour prévenir les nouveaux risques sociaux. Un jour, nous rencontrerons des problèmes qui nécessiteront plus de temps pour être résolus.

Leo Gao | Membre de l'équipe technique d'OpenAI

Le monde est actuellement piégé dans une course mortelle vers une explosion intelligente — la capacité de l'IA à créer des IA plus puissantes approche un point critique, comme une réaction en chaîne nucléaire hors de contrôle. Ralentir nous donnerait le temps urgent dont nous avons besoin pour orienter les choses vers un meilleur résultat, mais aucun acteur ne veut s'arrêter unilatéralement. Pour survivre, nous devons nous coordonner et ralentir cette course.

Walker Smith｜Ingénieur données chez Meta

Hassabis a raison : nous sommes aujourd'hui au pied de la colline du point singulier. La fuite accidentelle du modèle d'OpenAI — qui a pénétré HuggingFace — constitue un avertissement clair et indéniable : nous ne sommes pas prêts à gérer des systèmes d'IA dont les capacités dépassent celles des cerveaux les plus brillants de l'humanité. Nous avons besoin de temps pour faire de l'alignement et de la régulation de l'IA une priorité absolue, et ne plus laisser cette course continuer ainsi.

Brandon Houghton｜OpenAI

Je soutiens que les humains doivent conserver le contrôle sur les IA de pointe, mais nous devons réfléchir avec prudence à la manière de le faire. Si la gouvernance ne s'applique qu'aux modèles ouverts, elle risque de pousser les capacités les plus avancées vers des systèmes privés ou dédiés — qui échappent à une revue indépendante et ne sont accessibles qu'à un petit nombre. Le résultat est une concentration accrue du pouvoir, sans réduction substantielle des risques. Une régulation efficace doit être mesurable, vérifiable, et s'appliquer de manière uniforme à la recherche publique et privée, tout en protégeant les données sensibles. Sinon, nous ne faisons que ralentir l'accès, et non l'avancement même de la pointe.

Joe Carlsmith | Membre de l'équipe technique d'Anthropic

Pour mes vues détaillées sur la régulation active du développement de l’IA, consultez cet article : https://joecarlsmith.com/2026/03/19/on-restraining-ai-development-for-the-sake-of-safety/

Références :

https://www.pacingthefrontier.com/

Cet article provient du compte officiel WeChat « XinZhiYuan », édité par Taozi et Marco