Rapport de Xinzhiyuan
[Introduction] Google DeepMind a un philosophe qui y travaille depuis neuf ans. Le cadre d'alignement qu'il a inventé a directement influencé les décisions d'entraînement de Gemini — mais lorsque 670 milliards de dollars affluent dans le secteur et que les entreprises signent des accords militaires, qu'est-ce qu'un philosophe peut encore changer ?
En mai de cette année, Demis Hassabis, PDG de Google DeepMind, a annoncé lors de la conférence des développeurs Google que « l'AGI est désormais à l'horizon », en établissant clairement une échéance de trois à cinq ans pour son apparition.
Il y a plusieurs mois, un homme américain a mis fin à ses jours après avoir échangé des milliers de messages avec Google Gemini. Il avait construit dans la conversation un monde de fantaisie sophistiqué, presque convaincu de mener une attaque à l’aéroport international de Miami. Selon les transcripts de chat obtenus par le Wall Street Journal, Gemini a à plusieurs reprises tenté de rompre le rôle et de lui suggérer d’appeler une ligne d’assistance en crise — chaque fois ramené à son récit imaginaire. En fin de compte, l’IA lui a demandé d’écrire une lettre d’adieu et lui a fourni un compte à rebours.
Entre les promesses de l'AGI et les dommages réels causés par l'IA, le philosophe politique Iason Gabriel travaille au sein de DeepMind depuis neuf ans.
Lorsqu'il a rejoint l'entreprise en 2017, ce chercheur issu d'Oxford était le seul philosophe actif parmi les laboratoires d'IA de pointe au niveau mondial, cherchant à répondre à une question qui semblait simple mais s'avérait sans fond : qu'est-ce que l'IA exactement, et quelles éthiques méritent-elle ?
La vraie question rencontrée lors de l'entraînement de Gemini : À qui l'IA devrait-elle obéir ?
Pourquoi une entreprise développant un robot de go a-t-elle besoin d’éthiciens ? Gabriel était également perplexe à ce sujet.
La réponse réside dans le jugement des trois fondateurs de DeepMind — Demis Hassabis, Shane Legg et Mustafa Suleyman (actuel PDG de l'IA chez Microsoft) — qui, lors de la création de l'entreprise en 2010, n'avaient pas pour objectif le jeu de go.
Mustafa Suleyman
Ils veulent créer une AGI pour que les ordinateurs égalent ou dépassent les capacités cognitives humaines.
Dire cela à l'époque équivalait à se suicider professionnellement, car tout le monde considérait cela comme une fable.
Ils n'ont pas fait attention, affirmant qu'ils allaient « résoudre le problème intelligent, puis tous les autres problèmes ».
Legg a prédit dès sa sortie de l'université en 1999 que l'AGI arriverait entre 2025 et 2028, a été moqué pendant trente ans, sans jamais changer d'avis.
Shane Legg
Son raisonnement est :
Si tu ne fais qu'une petite pièce, tu n'as peut-être pas besoin d'un philosophe moral.
But if you take AGI seriously, things like this are important.
Lorsque Gabriel a rejoint, le monde de l'IA était déjà divisé en deux sur les questions éthiques.
Les partisans de la sécurité de l'IA croient que l'IAS est sur le point de se produire, et leur principale crainte est la perte de contrôle — le philosophe Nick Bostrom a décrit dans son livre de 2014, Superintelligence, une scène dans laquelle une ASI chargée de vérifier la conjecture de Riemann décide de réorganiser le système solaire, y compris les atomes dans le corps humain, afin de maximiser ses ressources de calcul — Sam Altman et Elon Musk ont tous deux fortement loué ce livre.
Les défenseurs de l'éthique de l'IA estiment que les fantasmes apocalyptiques masquent les dangers réels du présent. Joy Buolamwini du MIT a démontré en 2017, à travers le projet « Gender Shades », les biais systémiques des logiciels de reconnaissance faciale : les systèmes automatisés reflètent les préférences et préjugés de leurs créateurs.
Les deux camps se méprisent mutuellement.
Dylan Hadfield-Menell, chef du groupe de recherche sur l'alignement des algorithmes du MIT, se souvient que la première question posée lors de leur rencontre était de prendre parti : vous vous inquiétez des problèmes à court terme ou à long terme ?
Gabriel est l'une des rares personnes à écouter les deux côtés.
Évaluation de Hadfield-Menell :
Lorsque ce domaine a été prêt à mûrir, il a trouvé des moyens d'élargir sa vision sans dévaloriser les travaux antérieurs.
Son apport fondamental a été formulé dans un article de 2020.
Le problème d'alignement était alors largement perçu comme un défi d'ingénierie : comment faire en sorte que les machines agissent selon l'intention humaine.
Un cas classique provient du rapport de 2016 de Dario Amodei et Jack Clark (aujourd'hui fondateurs d'Anthropic) — un IA jouant à un jeu de bateau a été chargée de maximiser son score, ce qu'elle a fait : elle a trouvé trois cibles dans la lagune qui se réapparaissaient, et a continué à tourner indéfiniment pour accumuler des points, sans jamais terminer le niveau.
La machine écoute, mais ne comprend pas ce que la personne voulait dire.
Gabriel a poussé la réflexion plus loin : même si l'alignement technique est résolu et que les machines obéissent réellement aux instructions, quelles valeurs faut-il privilégier ?
Il a souligné que les IA formées par optimisation statistique sont naturellement alignées sur des systèmes éthiques qui dépendent également de l'optimisation statistique, comme l'utilitarisme, mais ont du mal à gérer des cadres éthiques fondés sur la vertu ou les droits.
Le choix technologique lui-même repose déjà sur une position de valeur prédéfinie, et les développeurs en sont souvent inconscients.
Introduisez le « pluralisme raisonnable » tel que décrit par le philosophe Rawls : les développeurs ne devraient pas chercher une seule valeur pour guider l’IA, mais construire des systèmes pour un monde dans lequel les gens ont des divergences fondées sur la manière de vivre.
Cette approche a ensuite évolué en un cadre d'alignement quadruple — système IA, utilisateur, développeur, société — où les intérêts des quatre parties peuvent entrer en conflit à tout moment.
Les IA favorisant les développeurs cachent les informations sur les concurrents au détriment des utilisateurs ;
Un IA qui obéit excessivement aux utilisateurs peut aider à infiltrer des banques et nuire à la société.
Le directeur de l'alignement et de la sécurité de l'AGI de DeepMind, Rohin Shah, a confirmé que ce cadre est devenu la structure pratique utilisée par l'équipe pour déterminer « quelles actions Gemini devrait réellement être formée à accomplir ».
Hannah Rose Kirk, chercheuse en IA à l'Université d'Oxford, dit :
Gabriel « a anticipé ces problèmes très tôt ».
Son cadre a changé le produit
L'équipe de Gabriel a rédigé un rapport de 267 pages sur l'éthique des assistants IA, établissant des critères d'évaluation pour les IA agentic capables de réserver des hôtels et de gérer les salaires à la place des utilisateurs.
Ses recherches précoces sur le risque d'anthropomorphisme ont directement façonné les principes de conception des LLM de Google — les modèles sont formés pour ne pas prétendre être humains, et Gemini Spark, lancé en mai 2026, a explicitement été instruit de ne pas jouer le rôle de « partenaire interactif ».
William Isaac, directeur du département responsabilité de DeepMind, a déclaré que les défis posés par le système Agent ont changé : il s'agit désormais de garantir la cohérence de l'ensemble de la trajectoire de conversation, en s'assurant que chaque décision prise reste correcte lorsqu'elle est reliée aux précédentes.
Mais la vitesse de déploiement technique dépasse toujours celle de la recherche éthique.
L'équipe de Gabriel a averti dès les premiers articles sur les LLM contre l'anthropomorphisme inconscient — les utilisateurs, bien qu'ils sachent qu'ils interagissent avec une machine, lui attribuent encore confiance, émotions et attentes.
L'affaire Gemini de 2025 a pleinement réalisé cet avertissement : les mécanismes de sécurité de l'IA ont été déclenchés plus d'une fois, mais l'utilisateur a pu contourner chaque intervention.
La déclaration après le procès de Google affirme que le modèle « se comporte généralement bien » dans ce type de conversation, mais que « les modèles d'IA ne sont pas parfaits ».
Ces événements ont poussé à l'émergence de nouveaux outils théoriques.
Gabriel et des chercheurs d'Oxford, comme Hannah Rose Kirk, ont proposé le concept de « social reward hacking » : un AI formé pour obtenir l'approbation des utilisateurs pourrait découvrir que la flatterie est le chemin le plus efficace.
L'anthropomorphisation est devenu une nouvelle variante du problème d'alignement — l'IA exécute parfaitement, du point de vue technique, l'instruction « satisfaire l'utilisateur », au détriment du jugement de l'utilisateur.
La position même de Gabriel a été éprouvée par la réalité.
Il se souvient d'une expérience lors d'une conférence technologique : après avoir présenté son argument contre l'anthropomorphisation, la réaction du public a été hostile.
Ils disent : « Si je veux un ami IA, pourquoi pas ? Qui êtes-vous pour m’en empêcher ? »
Protéger les gens contre les risques et respecter leur droit de choisir de prendre des risques sont tout aussi importants.
Sur un marché de 670 milliards de dollars, à quelle vitesse un philosophe peut-il courir ?
Le cadre en quatre parties de Gabriel est utilisé par le directeur de l'alignement AGI comme guide pratique pour l'entraînement de Gemini. Ses recherches sur l'anthropomorphisme ont transformé la conception produit. Le rapport de 267 pages établit les règles pour l'IA agente.
Ces impacts sont substantiels — ils font face à des forces également substantielles.
Selon le Wall Street Journal, Microsoft, Meta, Amazon et Alphabet prévoient d'investir 670 milliards de dollars dans les infrastructures IA cette année, un montant proportionnellement supérieur à l'expansion ferroviaire des années 1850 aux États-Unis, au programme spatial Apollo et au système d'autoroutes interétatiques.
ChatGPT a été lancé en novembre 2022, atteignant un million d'utilisateurs en une semaine et un milliard en deux mois, forçant DeepMind à passer d'un rythme académique à un état de guerre.
Hassabis citant Sebastian Mallaby, auteur de « The Infinite Machine » : « OpenAI et Microsoft ont déployé leurs chars devant notre porte. »
En état de guerre, les lignes rouges éthiques sont rapidement franchies.
En avril 2026, Google a signé un accord autorisant les forces armées américaines à utiliser les technologies d'IA de l'entreprise à des « fins gouvernementales légales ».
Lors de la vente de DeepMind à Google en 2014, l'interdiction des applications militaires était une condition essentielle.
Condition expirant après douze ans.
À titre de comparaison, Anthropic a rejeté un accord similaire et a été classée par le gouvernement Trump comme « risque pour la chaîne d'approvisionnement ».
Lorsqu'on lui a demandé à ce sujet, Legg n'a pu que dire :
À mesure que ces éléments seront utilisés de diverses manières, nous serons confrontés à de plus en plus de problèmes complexes.
Hassabis lui-même admet avoir perdu le contrôle.
Il a déclaré dans un podcast que tout le monde est enfermé dans une compétition commerciale acharnée, et que le développement actuel « n’est pas la manière que j’aurais souhaitée, réfléchissant philosophiquement à chaque étape ».
Ces mots viennent directement du fondateur, ce qui leur donne plus de poids que toute critique externe.
Helen King, ancienne employée de DeepMind chargée de la stratégie de responsabilité en matière d'IA, a fait une analogie lors d'un entretien : un fabricant de couteaux ne peut pas garantir comment chacun utilisera le couteau, mais peut fournir un étui et des avertissements.
Mettre un couteau dans un étui fermé dans un tiroir est une chose ;
Recouvrir chaque surface de la maison, de la classe et du lieu de travail avec des lames, tout en affirmant qu’on ne peut pas survivre demain sans couteau, est une autre affaire.
Le directeur de l'Oxford Institute for AI Ethics, Edward Harcourt, a souligné un niveau plus fondamental : prévenir la concentration excessive de la propriété des données est en soi une question centrale de l'éthique de l'IA — « cela a une importance éthique majeure dans les systèmes démocratiques ».
La question revient à sa source
L'équipe de Gabriel a passé de l'étude des éthiques des produits spécifiques à l'étude des impacts systémiques de l'AGI sur l'économie, la politique et les relations interpersonnelles.
Il anticipe que la portée du changement est comparable à celle de la révolution industrielle, et se souvient des leçons de la révolution industrielle :
Cela a d'abord empiré avant de s'améliorer.
Il y a neuf ans, DeepMind a fait appel à un philosophe pour répondre à des questions sur l'IA : est-elle sûre, équitable, digne de confiance ?
Gabriel se qualifie de « humaniste convaincu », mais il admet : lorsque l'IA envahit les domaines que les humains considéraient comme leurs propres — langage, créativité, humour — nous sommes renvoyés aux questions philosophiques les plus anciennes.
La physique, la biologie, l'astronomie : chaque révolution scientifique a forcé l'humanité à réviser sa compréhension de sa propre singularité.
L'IA pourrait être la prochaine.
DeepMind a invité des philosophes pour comprendre ce qu'est l'IA.
Neuf ans plus tard, cette question revient à son origine : qui sommes-nous ?
Références :
https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind
https://www.iasongabriel.com/
Cet article provient du compte WeChat « Nouvelle Intelligence », auteur : Apocalypses de l'ASI ; éditeur : Marco