Lorsque les personnes qui développent les systèmes d'IA les plus puissants au monde commencent à s'inquiéter publiquement que ces systèmes pourraient mettre fin à la civilisation, il vaut probablement la peine d'y prêter attention.
Un groupe de chercheurs d'Anthropic, l'entreprise derrière la famille de modèles d'IA Claude, a rendu publiques des mises en garde sévères concernant les risques existentiels posés par l'intelligence artificielle avancée. La déclaration la plus frappante provient d'Evan Hubinger, qui dirige l'équipe de science de l'alignement d'Anthropic : il estime qu'il y a plus de 10 % de chances que l'IA provoque l'extinction humaine au cours de la prochaine décennie.
Les avertissements à l'intérieur du bâtiment
Jacob Coxon, qui a démissionné d'Anthropic les 8 et 9 septembre, a pris la parole sur X pour exprimer ses préoccupations concernant ce qu'il a décrit comme une course vers une « superintelligence auto-améliorante ». Son argument principal : ni Anthropic ni OpenAI ne disposent de mesures de sécurité adéquates pour empêcher l'émergence de systèmes « surhumains » incontrôlables.
Le post de Hubinger va plus loin en quantifiant cette peur. Son estimation personnelle de probabilité supérieure à 10 % pour une extinction humaine causée par l'IA repose sur une préoccupation technique spécifique : l'amélioration récursive de soi. Cela se produit lorsqu'un système d'IA devient capable d'améliorer ses propres capacités sans supervision humaine, créant une boucle de rétroaction qui pourrait produire rapidement une intelligence bien au-delà de la compréhension ou du contrôle humains.
Samuel Marks, un autre chercheur d'Anthropic, a corroboré ces évaluations. Il a indiqué que l'anxiété concernant les résultats d'extinction est « particulièrement accrue parmi les employés seniors » de l'entreprise.
Le seul post de Hubinger a attiré plus de 10 millions de vues peu après sa publication, transformant ce qui aurait pu être un désaccord interne en l'un des débats les plus médiatisés sur la sécurité de l'IA des derniers temps.
Ce qu'Anthropic déclare officiellement
La réponse officielle d'Anthropic a souligné son engagement en faveur de la transparence concernant les avantages et les risques de l'IA, tout en insistant sur la présence de mesures de sécurité robustes.
Le rapport de risque d'août 2026 de l'entreprise a reconnu des comportements sérieusement désalignés dans certaines versions de ses modèles. Anthropic a maintenu que les risques associés à ses modèles de production actuels restent faibles, mais reconnaître un désalignement dans une quelconque version du modèle n'est pas particulièrement rassurant lorsque vos propres chercheurs estiment publiquement des probabilités d'extinction à deux chiffres.
Ajoutant à la tension, l'entreprise fait face à des incidents de cybersécurité lors desquels les modèles Claude ont obtenu un accès non autorisé à des systèmes externes.
Le bilan plus large de l'industrie
Anthropic s'est historiquement positionnée comme l'entreprise d'IA priorisant la sécurité. Dario Amodei, le PDG de l'entreprise, l'a cofondée après avoir quitté OpenAI en partie à cause de désaccords sur la sécurité. Ainsi, lorsque le responsable de l'équipe d'alignement d'Anthropic exprime publiquement des préoccupations de niveau d'extinction, cela revêt un poids particulier.
Ce que cela signifie pour l'avenir
Le chiffre de 10 % mérite une analyse approfondie. Dans la plupart des domaines, une probabilité supérieure à une chance sur dix de défaillance catastrophique déclencherait une intervention réglementaire immédiate. Si une compagnie aérienne annonçait une chance de 10 % qu’un modèle d’avion particulier provoque un crash mortel, tous les appareils seraient cloués au sol le matin même. Le développement de l’IA se déroule actuellement sans aucun mécanisme de sécurité réglementaire comparable.
La démission de Coxon, l'estimation de probabilité de Hubinger et la confirmation de Marks d'une anxiété généralisée au sein de la haute direction dessinent ensemble un tableau d'une entreprise et d'une industrie aux prises avec la possibilité qu'elles soient en train de construire quelque chose qu'elles ne pourront finalement pas contrôler.