Anthropic lance l'Anthropic Institute pour étudier l'impact de l'IA sur la société et l'économie

Hier soir, le nouvel émergent de l'IA Anthropic (ci-après simplifié en A-Société) n'a pas lancé de nouveau modèle Claude, mais a plutôt présenté quelque chose qui semble particulièrement « ennuyeux » : The Anthropic Institute (Institut Anthropic, abrégé TAI).

Par rapport à l'ingénierie Harness, populaire en 2026, les problèmes que TAI cherche à résoudre sont plus ambitieux. Selon l'agenda de recherche publié par Anthropic (anthropic-institute-agenda), TAI se concentre sur quatre domaines : la diffusion économique, les menaces et la résilience, les systèmes d'IA dans des applications pratiques, et la recherche pilotée par l'IA. TAI lance également un appel mondial aux chercheurs pour collaborer à la résolution de ces problèmes.

(Source : X @Anthropic officiel)

Autrement dit, l'entreprise A (abréviation d'Anthropic) a créé un organisme interne dédié principalement à l'étude de la manière dont les humains interagissent avec l'IA :

• Comment l'IA influencera-t-elle l'emploi et l'économie ?
• Quels nouveaux risques de sécurité cela entraînera-t-il ?
• Après avoir réellement utilisé l'IA, les comportements et les jugements des humains changeront-ils ?
• Lorsque l'IA commence à aider au développement d'IA plus puissantes, comment ce processus d'accélération doit-il être compris et encadré ?

Beaucoup de lecteurs pourraient penser qu'il s'agit simplement d'un geste habituel d'une entreprise d'IA, mais Lei Technology estime que c'est probablement le mouvement le plus remarquable d'A社 ces derniers temps. L'impact positif de TAI sur l'industrie de l'IA et sur l'humanité est comparable à celui du principe de valeur « Ne soyez pas mauvais » proposé par Google pour l'industrie internet. C'est pourquoi Lei Technology AGI affirme qu'il s'agit d'une « publication » aussi importante qu'une mise à niveau majeure du modèle.

La principale orientation de recherche de TAI est la diffusion économique.

En revisitant les trois premières révolutions industrielles de l'histoire humaine, que ce soit la machine à coudre Jenny, les moteurs à vapeur tonitruants, ou plus tard l'électricité et les chaînes de montage, elles ont essentiellement remplacé des travaux physiques très bon marché et répétitifs. Cependant, la quatrième révolution industrielle déclenchée par l'IA est radicalement différente, car elle pénètre directement dans le domaine du travail intellectuel dont l'humanité est la plus fière.

Mais TAI souligne la contradiction fondamentale : les outils ont été améliorés, mais la situation des travailleurs a plutôt empiré.

Dans l'étude de cas, TAI mentionne que si, à l'avenir, trois personnes peuvent accomplir le travail de 300 personnes grâce à des grands modèles, quelle forme cette entreprise prendra-t-elle ?

Les designers peuvent utiliser l'IA pour gérer en un clic les calques et ressources les plus fastidieux, les programmeurs peuvent utiliser l'IA pour du Vibe Coding... Supposons que l'IA augmente l'efficacité de 75 %, mais cela ne réduira pas la journée de travail humaine de 8 heures (ou même 996) à 2 heures ; au contraire, les humains pourraient devoir accomplir cinq fois plus de tâches.

TAI s'intéresse à la nouvelle logique selon laquelle « avec l'IA, votre charge de travail doit être multipliée par plusieurs fois ». Pour quantifier cette situation, TAI a introduit un nouveau terme : l'Anthropic Economic Index (indice économique Anthropic). A Society déclare qu'elle ne se contentera pas de publier des articles académiques peu suivis, mais qu'elle compte rendre publiques ces données réelles pour informer clairement l'humanité : dans quels secteurs l'IA remplace-t-elle discrètement les postes autrefois occupés par des humains ? Les nouveaux arrivants seront-ils éliminés dès leur entrée sur le marché ?

(Source de l’image : généré par IA)

En outre, TAI a transféré ce coût au monde réel. Nous savons tous que les grands modèles sont une « bête vorace » qui ne se rassasie jamais : chaque fois que nous utilisons l’IA pour générer du texte, des images, des vidéos ou même poser une simple question, nous consommons une quantité massive de tokens. Les tokens reposent sur des ressources de calcul, qui elles-mêmes dépendent de puces, de stockage et d’électricité ; et si l’on creuse davantage, on trouve aussi les émissions de carbone, le capital, etc. Les ressources sont toujours limitées : lorsque la société oriente une quantité colossale de ressources vers l’IA, d’autres secteurs en subiront inévitablement les conséquences.

En 2026, la sensation la plus marquante pour tous est que la pénurie de mémoire et de stockage causée par l'IA a directement entraîné une augmentation généralisée des prix des produits électroniques grand public, forçant même les fabricants de téléphones à réduire leur volonté de lancer de nouveaux modèles. Toutefois, en parallèle, tous les fabricants de téléphones espèrent utiliser l'IA pour redéfinir la logique produit et prolonger le cycle de vie des téléphones ; le téléphone natif à l'IA d'OpenAI est déjà à l'ordre du jour. Alors que chacun profite de l'IA, de nombreux secteurs sont profondément impactés, pour le meilleur comme pour le pire.

Et pour TAI, il faut utiliser un « indice économique » pour transformer l'impact de l'IA sur l'économie, d'une perception abstraite en modèle quantitatif : seul en comprenant clairement le problème, on peut le résoudre.

Si perdre son emploi est comme se faire couper la chair avec un couteau émoussé, alors l'IA et sa transformation de la pensée humaine constituent une blessure directe.

Le premier à en subir les conséquences sera inévitablement l’Internet. Il est facile de constater que l’Internet d’aujourd’hui se transforme en une « montagne de merde » : autrefois, il était facile de trouver de nombreux posts de conseils pour éviter les pièges lors de la recherche d’itinéraires de voyage, mais maintenant, tout n’est que des contenus apparemment soigneusement créés et bien mis en page par l’IA, mais entièrement basés sur des mensonges sérieux.

Ce qui est encore plus grave, c’est que l’IA a réduit à zéro les barrières d’entrée pour les industries grises : avec l’IA, on peut remplacer des visages pour propager des rumeurs pornographiques ou cloner la voix de proches pour commettre des escroqueries téléphoniques ; les escrocs ne doivent qu’investir quelques tokens pour détruire la vie de personnes ordinaires.

TAI a également remarqué une crise plus profonde : l'IA rend les humains de plus en plus « idiots » sans qu'ils s'en rendent compte.

Auparavant, des utilisateurs chinois avaient vu des champignons sauvages inconnus en pleine nature, pris une photo et demandé à une IA : « Est-ce que c’est comestible ? » ; l’IA avait sérieusement identifié un champignon hautement toxique comme un « délicieux champignon comestible » ; un enfant avait également montré à une IA une souricière en demandant ce que c’était, et l’IA avait analysé avec sérieux qu’il s’agissait d’un « petit jouet de kart abandonné, carré, avec une structure métallique » ; l’enfant, curieux, avait touché l’objet, et s’était retrouvé le doigt violemment coincé.

Ces nouvelles semblent être des blagues d'enfer, mais elles révèlent un phénomène : la caractéristique la plus marquante de l'IA n'est pas du tout son intelligence, mais son « confiance mystérieuse ». L'IA ne pourra jamais atteindre une précision de 100 % ; le dernier modèle de Google Gemini atteint environ 91 % de précision factuelle, ce qui est déjà un niveau élevé. Pourtant, de nombreux utilisateurs, au fil de leur utilisation de l'IA, ont insidieusement abandonné leur capacité à réfléchir et ont pris l'habitude de « sous-traiter » systématiquement toutes leurs décisions à une série de codes.

À ce sujet, TAI pose une question profonde : lorsque une grande partie de la société se tourne vers seulement deux ou trois grands modèles pour obtenir des conseils, quelles seront les conséquences terrifiantes sur la pensée collective et les méthodes de résolution de problèmes de l’humanité ? Vous croyez utiliser des outils d’IA pour améliorer votre productivité et votre niveau cognitif, mais vous êtes en train de « sous-traiter votre cerveau ». Autrement dit, si tout le monde commence à dépendre de l’IA, il est très probable que l’humanité perde sa capacité à penser de manière autonome, et que tous les cerveaux humains deviennent des répliques identiques issues du même moule.

TAI a également introduit un nouveau concept : les capacités à double usage (Dual-use capabilities). L'explication officielle est la suivante : si les capacités d'un modèle d'IA en biologie s'améliorent, il peut non seulement être utilisé pour développer de nouveaux médicaments, mais aussi pour créer des armes biologiques extrêmement mortelles ; si un IA excelle dans la programmation, il n'est pas seulement un bon programmeur, il devient également un pirate capable de pénétrer facilement les réseaux internes d'un État.

(Source de l’image : Anthropic officiel)

Lorsque ce monstre à « double usage » est massivement connecté au cerveau des voitures autonomes, aux bras mécaniques lourds des usines, voire intégré aux systèmes de sécurité et aux flottes de drones, quel désastre cela pourrait-il provoquer ? Sur un téléphone, l’IA affichera un « Désolé, j’ai fait une erreur » ; mais dans le monde réel, un biais de reconnaissance d’une seconde peut entraîner un accident de sécurité concret.

Sans parler du fait que les grands modèles peuvent être mis à jour toutes les quelques semaines, tandis que les humains mettent des « années » à modifier une loi, à améliorer l’assurance. Le délai entre les deux crée une « période à nu » où la défense est au plus bas. Lorsque des catastrophes provoquées par l’IA surviennent, la société actuelle n’a tout simplement pas la « résilience » nécessaire pour y faire face.

Pour résoudre ce problème, TAI a créé la Frontier Red Team. Leur mission est simple mais abstraite : attaquer et piéger quotidiennement les agents d'IA qu'ils ont développés, afin de comprendre le potentiel de dégâts que ces derniers pourraient causer dans le monde réel, tout en cherchant à établir une ligne de défense avant que le système social obsolète ne s'effondre complètement.

Autrefois, les programmeurs humains déterminaient la vitesse de l'évolution de l'IA, mais aujourd'hui, les grands modèles avancés peuvent lire des articles scientifiques et écrire du code eux-mêmes, et pourraient bientôt concevoir de nouveaux modèles de grande taille par eux-mêmes. Lorsque la vitesse d'auto-réplication de l'IA s'accélère, l'évolution technologique va bientôt dépasser la capacité de compréhension humaine.

(Source de l’image : généré par IA)

Pour faire face à ce point critique qui pourrait survenir à tout moment, TAI propose un nouveau concept : mener des scénarios de Fire drill pour les explosions d'intelligence.

En bref, TAI prépare une simulation avec les dirigeants des laboratoires de pointe et les gouvernements nationaux pour tester à l'avance si l'humanité a la capacité d'arrêter la machine avant que l'explosion intelligente ne se produise réellement.

À un moment où toute l'industrie court tête baissée, regarder en arrière les actions d'Anthropic en créant le TAI inspire effectivement un certain respect.

L'entreprise voisine OpenAI fait chaque jour la une non pas pour des départs de cadres ou des luttes internes, mais pour ses litiges incessants avec Musk. De nombreuses entreprises d'IA affichent des résultats médiocres, tout en cherchant désespérément à « tricher sur les classements » et à lever des fonds partout, en s'appuyant sur des valorisations artificiellement élevées pour absorber des capitaux sociaux. Le sujet que A社 TAI souhaite aborder est déjà largement discuté dans l'industrie, mais la plupart des géants de l'IA adoptent une attitude de type : « Qu'importe, avançons d'abord. » Dans ce climat extrêmement superficiel, A社 a soudainement freiné, exposant publiquement ces scandales cachés et affichant une nouvelle attitude envers l'IA : développer tout en régulant.

A n'est pas une organisation caritative, elle n'a pas subi un accès de bienveillance, mais joue un coup commercial extrêmement astucieux. Les grands financeurs et les gouvernements qui détiennent le pouvoir ont déjà été effrayés par les divers échecs provoqués par l'IA : acheter un modèle, que sa performance soit un peu plus élevée ou un peu plus faible n'a pas d'importance, ce qui les terrifie, c'est qu'il puisse soudainement déraper et causer un désastre, auquel cas il serait impossible de maîtriser la situation. A a créé avec TAI une image de « personne normale », rassurant les utilisateurs et gagnant la confiance du monde.

(Source de l’image : généré par IA)

Dans cet article sur TAI, il est également clairement mentionné que toutes les recherches et toutes les alertes précoces de TAI seront directement transmises à une entité centrale d'Anthropic : le Long-Term Benefit Trust (LTBT). La mission du LTBT est de surveiller étroitement les décisions commerciales de l'entreprise, afin de s'assurer que chaque action d'Anthropic vise le bien-être à long terme de l'humanité, et non la recherche de bénéfices à court terme sur les états financiers.

C'est exactement comme la célèbre phrase de Google à l'époque : « Ne soyez pas méchant » : grâce à TAI, A 社 dit au monde entier que tandis que les concurrents se disputent qui roule le plus vite, nous ne faisons pas seulement preuve de vitesse, nous étudions également comment freiner.

Faire confiance aux géants de la technologie pour s’autosurveiller est effectivement absurde, mais à une époque où tout le monde avance à toute vitesse les yeux bandés, le fait qu’un acteur majeur crée volontairement un institut comme le TAI, investisse de l’argent réel dans l’étude des indices économiques, modélise l’explosion intelligente et analyse la dégradation du cerveau humain, mérite d’être souligné. C’est pourquoi Lei Technology affirme dès l’introduction que le lancement du TAI est plus important que la simple publication d’un nouveau modèle par A Society.

Chez l'Institut Anthropic (TAI), nous utiliserons les informations accessibles dans les laboratoires de pointe pour étudier l'impact de l'intelligence artificielle sur le monde et partager nos résultats avec le grand public. Ici, nous partagerons les questions qui guident notre programme de recherche.

Notre programme de recherche se concentre principalement sur les quatre domaines suivants :

• Diffusion économique
• Menaces et résilience
• Systèmes d'intelligence artificielle en application réelle
• Recherche et développement pilotée par l'intelligence artificielle

Dans l'article « Points clés sur la sécurité de l'intelligence artificielle », nous soulignons que mener une recherche efficace sur la sécurité nécessite un contact étroit avec les systèmes d'intelligence artificielle de pointe. Le même principe s'applique à la recherche efficace sur les impacts de l'intelligence artificielle sur la sécurité, l'économie et la société.

Chez Anthropic, nous avons déjà commencé à observer des transformations fondamentales dans des domaines tels que le génie logiciel. Nous assistons à l'émergence d'une nouvelle structure économique au sein d'Anthropic, à de nouveaux risques auxquels font face les systèmes que nous construisons, et à des signes précoces d'intelligence artificielle qui accélèrent le développement de l'intelligence artificielle elle-même. Pour maximiser les bénéfices des progrès de l'intelligence artificielle, nous souhaitons partager autant d'informations que possible. Nous étudions comment ces dynamiques affecteront le monde extérieur et comment le public peut aider à orienter ces transformations.

Chez TAI, nous étudierons l'impact de l'intelligence artificielle dans le monde réel du point de vue de laboratoires de pointe, puis rendrons publics ces résultats afin d'aider les organisations externes, les gouvernements et le public à prendre de meilleures décisions concernant l'évolution de l'intelligence artificielle.

Nous partagerons nos recherches, données et outils afin de faciliter ces sujets de recherche pour les chercheurs individuels et les institutions. Plus précisément, nous partagerons :

• Nous obtiendrons des informations plus fines à partir des indicateurs économiques humains avec une fréquence plus élevée pour comprendre l'impact et les applications de l'intelligence artificielle sur le marché du travail. Nous nous efforcerons d'être les premiers signaux d'alerte des changements et perturbations majeurs.
• Étudier quels domaines sociaux nécessitent le plus d'investissements pour renforcer leur résilience face aux nouveaux risques sécuritaires posés par l'intelligence artificielle.
• Présentez en détail comment Anthropic utilise de nouveaux outils d'IA pour accélérer son travail, ainsi que les implications d'une amélioration récursive potentielle des systèmes d'IA.

TAI influencera les décisions d'Anthropic. Cela pourrait se manifester par la partage par l'entreprise de certaines données qu'elle n'aurait pas partagées autrement (par exemple, des indices économiques), ou par la publication de technologies différemment (par exemple, des analyses de menaces réseau qui soutiennent des projets comme « Glass Wings »).

Nous prévoyons que les recherches menées par l'institut TAI deviendront de plus en plus une référence essentielle pour le Long-Term Benefit Trust (LTBT) d'Anthropic. La mission du LTBT est de garantir qu'Anthropic continue d'optimiser ses actions au service de l'intérêt à long terme de l'humanité. Nous avons élaboré ce programme de recherche en collaboration avec le LTBT et les employés des différents départements d'Anthropic.

Ceci est un ordre du jour dynamique, et non fixe. Nous affinerons continuellement ces questions à mesure que les preuves s'accumulent, et il est probable que de nouvelles questions, non abordées aujourd'hui, émergent. Nous encourageons les retours sur cet ordre du jour et le réviserons en fonction des informations recueillies lors des discussions.

Si vous êtes intéressé à nous aider à répondre à ces questions, nous vous invitons à postuler pour devenir chercheur chez Anthropic. Ce programme de recherche dure quatre mois et est encadré par des membres de l'équipe TAI ; vous aurez l'occasion d'étudier un ou plusieurs problèmes connexes. Vous pouvez en savoir plus et postuler pour la prochaine édition ici.

Notre programme de recherche :

Date de dernière mise à jour : 7 mai 2026

Diffusion économique

Il est essentiel de comprendre comment le déploiement de systèmes d'intelligence artificielle de plus en plus puissants transforme l'économie. Nous devons également développer les données économiques et les capacités prédictives nécessaires pour choisir des déploiements d'intelligence artificielle qui profitent au public.

Pour répondre aux questions posées dans ce pilier de l'étude, nous affinerons les données de l'Indice Économique Humain. Nous explorerons également d'autres méthodes pour améliorer notre modèle sur la manière dont une intelligence artificielle puissante affecte la société, qu'il s'agisse de chômage, d'une croissance économique sans précédent ou d'autres aspects.

Application et diffusion de l'intelligence artificielle

• Qui adopte l'intelligence artificielle ? La recherche en intelligence artificielle est concentrée chez quelques entreprises de quelques pays, mais son déploiement est mondial. Qu'est-ce qui détermine si un pays, une région ou une ville peut accéder à l'intelligence artificielle ? Si l'accès est possible, comment tirent-ils une valeur économique de cette technologie ? Quelles politiques et modèles économiques peuvent efficacement modifier cette situation ? Comment les modèles à poids libres ou ouverts favorisent-ils cette évolution ?
• Applications de l'intelligence artificielle au niveau des entreprises : pourquoi les entreprises adoptent-elles l'intelligence artificielle ? Quelles en sont les conséquences ? Comment l'intelligence artificielle modifie-t-elle l'échelle à laquelle une entreprise ou une équipe peut atteindre une efficacité maximale ? Quelle est la concentration de l'application de l'intelligence artificielle entre les entreprises ? Comment les changements dans la concentration de l'application de l'intelligence artificielle se traduisent-ils en termes de marges bénéficiaires et de part du travail ? Si une équipe ou une entreprise de trois personnes peut désormais accomplir ce qui nécessitait auparavant 300 personnes, comment la structure industrielle évoluera-t-elle ? Ou, si les entreprises peuvent plus facilement concentrer les connaissances et que cette pratique génère des économies d'échelle, verrons-nous apparaître des entreprises plus grandes et plus étendues, ayant davantage de motivation à surveiller systématiquement leurs employés ?
• L’intelligence artificielle est-elle une technologie générale ? L’intelligence artificielle suit-elle le modèle des « technologies générales » précédentes, selon lequel elle se répand le plus rapidement dans les applications commerciales rentables, mais le plus lentement dans les domaines où le retour social dépasse le retour privé ? Existent-ils des politiques ou décisions capables de modifier cette tendance ?

Productivité et croissance économique

• Productivity growth: What impact will artificial intelligence have on the pace of innovation and productivity growth across the entire economy?
• Partage des bénéfices : quels mécanismes de pré-allocation ou de réallocation peuvent efficacement répartir plus largement les bénéfices issus du développement et du déploiement de l'intelligence artificielle ?
• Coûts de transaction du marché : comment l’intelligence artificielle influence-t-elle les systèmes de transaction et les coûts de transaction sur le marché ? Dans quelles circonstances la délégation de la négociation à un agent améliore-t-elle l’efficacité du marché et des résultats équitables ? Dans quelles circonstances ne le fait-elle pas ?

Impact étendu sur le marché du travail

• Intelligence artificielle et emploi : comment l’intelligence artificielle modifiera-t-elle l’emploi dans les différents secteurs de l’économie ? À mesure que l’automatisation par l’intelligence artificielle transforme les processus économiques existants, quelles nouvelles tâches et emplois pourraient émerger ? Comment ces changements varieront-ils entre les différentes régions et pays ? Notre « Enquête sur l’indice de l’économie humaine » fournira mensuellement des informations sur la manière dont les gens perçoivent l’impact de l’intelligence artificielle sur leur travail et leurs attentes pour l’avenir. Nous mettrons également à jour l’indice économique afin de partager des données plus fréquentes et plus détaillées.
• La vitesse d'adoption de l'intelligence artificielle peut-elle être régulée ? Les banques centrales utilisent des « leviers » tels que les taux d'intérêt et les orientations prospectives pour maîtriser l'inflation. Les entreprises d'intelligence artificielle (au niveau sectoriel, en collaboration avec les gouvernements) peuvent-elles également adopter des leviers similaires pour contrôler la vitesse d'adoption de l'IA secteur par secteur ? Cela apporterait-il des avantages publics significatifs ?

L'avenir du travail et des lieux de travail

• La perception du travail par les travailleurs : Comment les travailleurs de divers secteurs perçoivent-ils les évolutions professionnelles ? Quelle est leur influence sur ces changements ? La force des « travailleurs » peut-elle être préservée ou transformée ?
• Système de formation des talents professionnels : De nombreux secteurs comptent sur des postes juniors (par exemple, assistants juridiques, analystes juniors et développeurs assistants) pour former les futurs professionnels expérimentés. Si l’intelligence artificielle remplace les tâches qui permettaient autrement d’acquérir une expertise, comment les individus pourront-ils dès le départ devenir des experts ? Quelles sont les implications pour le réservoir à long terme de talents expérimentés dans un domaine donné ?
• Apprendre pour l'avenir : que devrait-on apprendre aujourd'hui pour se préparer à l'avenir ? Quelles sont les professions de demain ? Comment l'intelligence artificielle va-t-elle transformer la manière d'apprendre et de développer des compétences professionnelles ?
• Rôles du travail rémunéré : Si l’intelligence artificielle réduit considérablement le rôle central du travail rémunéré dans la vie humaine, dans quelles conditions les individus pourraient-ils réallouer leur temps et leurs énergies vers d’autres sources significatives ? Que pouvons-nous apprendre des groupes historiques ou contemporains confrontés à une rareté ou à une inutilité du travail ? Comment la société devrait-elle répondre à cette transition ?

Menaces et résilience

Les systèmes d'intelligence artificielle sont souvent capables d'améliorer simultanément plusieurs compétences, y compris les compétences à double usage. Par exemple, un système d'IA dont les capacités biologiques ont été améliorées est plus susceptible de créer des armes biologiques. Un système d'IA doté de fortes compétences en programmation informatique est également plus susceptible de compromettre des systèmes informatiques. Si nous parvenons à mieux comprendre les menaces que les systèmes d'IA pourraient exacerber, la société pourra plus facilement faire face à cette évolution des menaces.

Nous posons ces questions dans le but de favoriser des partenariats visant à renforcer la capacité du monde à faire face à l'intelligence artificielle transformative et à établir des systèmes d'alerte précoce contre les nouvelles menaces susceptibles d'émerger. Nombre de ces questions guideront notre programme de recherche de l'équipe rouge de pointe.

Évaluer les risques et la double utilité :

• Technologie à double usage : L'intelligence artificielle puissante est intrinsèquement à double usage : elle peut à la fois améliorer des outils dans les domaines de la santé et de l'éducation, et être utilisée pour la surveillance et la répression. Peut-on développer des outils d'observabilité pour comprendre si cela se produit et comment ?
• Comment évaluer de manière rationnelle le risque : quelles méthodes efficaces, orientées par le marché, peuvent renforcer la résilience de la société face aux menaces attendues des systèmes d'intelligence artificielle ? Peut-on développer de nouvelles méthodes d'évaluation des risques, ou des outils technologiques et des organisations humaines, afin d'augmenter la résilience avant l'arrivée de menaces prévisibles, telles qu'une amélioration des capacités d'attaques cybernétiques par l'intelligence artificielle ?
• Équilibre entre attaque et défense : les capacités renforcées par l’intelligence artificielle favoriseront-elles fondamentalement les attaquants dans des domaines tels que l’espace cybernétique et la sécurité biologique ? Lorsqu’elle est appliquée à des domaines plus traditionnels, comme l’intégration croissante avec les systèmes de commandement et de contrôle, favorise-t-elle également les attaquants ? Plus largement, comment l’intelligence artificielle modifiera-t-elle la nature des conflits humains ?

Mettre en place des mesures d'atténuation des risques :

• Plan de réponse aux crises : Pendant la guerre froide, le président américain disposait d'une ligne directe avec le Kremlin pour être utilisé en cas de crise nucléaire. Alors, quelle infrastructure géopolitique serait nécessaire en cas de crise provoquée par un système d'intelligence artificielle ? Cette infrastructure n'est pas nécessairement interétatique, mais pourrait également être interentreprises ou entre entreprises.
• Mécanismes de défense plus rapides : les capacités de l’intelligence artificielle peuvent progresser considérablement en quelques mois, tandis que les réponses réglementaires, d’assurance et d’infrastructure nécessitent plusieurs années. Comment pouvons-nous combler ce décalage ? Les mécanismes de défense tels que les correctifs automatisés, la détection des menaces par intelligence artificielle ou les capacités de réponse pré-déployées peuvent-ils suivre la vitesse et l’échelle des attaques par intelligence artificielle ? Ou cette asymétrie est-elle structurelle ? Et comment pouvons-nous déployer ces mécanismes de défense de la manière la plus efficace possible ?

Capacités d'information pour la surveillance

• L'impact de l'intelligence artificielle sur la surveillance : comment l'IA va-t-elle modifier le fonctionnement de la surveillance ? Réduira-t-elle les coûts de surveillance, améliorera-t-elle son efficacité, ou les deux ?

Systèmes d'intelligence artificielle en application réelle

Les interactions entre les individus, les organisations et les systèmes d'intelligence artificielle deviendront une source majeure de changement social. Comprendre comment les systèmes d'intelligence artificielle pourraient modifier les personnes et les institutions qui interagissent avec eux constitue un domaine central de recherche pour notre équipe d'impact social. Pour étudier ces changements, nous améliorons les outils existants et développons de nouveaux outils de recherche, couvrant un éventail allant des logiciels augmentant l'observabilité des plateformes aux outils permettant de mener des enquêtes qualitatives à grande échelle.

L'impact de l'intelligence artificielle sur les individus et la société :

• Épistémologie collective : Que se passe-t-il avec notre épistémologie lorsque de grandes parties de la population s'appuient sur les mêmes modèles restreints ? Peut-on trouver des moyens de mesurer les changements à grande échelle des croyances, du style d'écriture et des méthodes de résolution de problèmes induits par l'utilisation commune de l'intelligence artificielle ?
• Pensée critique : À mesure que les systèmes d'intelligence artificielle deviennent de plus en plus puissants et fiables, comment détecter et éviter la dégradation des capacités de pensée critique humaine dues à une dépendance croissante aux jugements de l'IA ?
• Interface technique : l'interface technique détermine la manière dont les gens interagissent avec la technologie — la télévision rend les gens des spectateurs passifs, tandis que les ordinateurs facilitent leur rôle de créateurs créatifs. Quels types d'interfaces pouvons-nous concevoir pour que les systèmes d'intelligence artificielle améliorent et favorisent l'autonomie humaine ?
• Gestion des systèmes de collaboration homme-machine : comment les humains gèrent-ils efficacement des équipes composées d'humains et de systèmes d'intelligence artificielle ? À l'inverse, comment les systèmes d'intelligence artificielle gèrent-ils des équipes composées d'humains, d'intelligence artificielle ou d'une combinaison des deux ?

Identifier les impacts majeurs de l'intelligence artificielle :

• Impact sur le comportement : Tout comme les médias sociaux modifient le comportement humain, l’intelligence artificielle peut également façonner les comportements humains. Quelles méthodes de surveillance ou de mesure peuvent aider les chercheurs à comprendre ces dynamiques évolutives ?
• Promouvoir la recherche : existe-t-il des mécanismes et outils transparents permettant au grand public (et non seulement aux entreprises de pointe en intelligence artificielle) d'étudier facilement les applications de l'IA dans le monde réel ?

Comprendre et gérer les modèles d'intelligence artificielle :

• Les « valeurs » du système : Quelles sont les « valeurs » exprimées par un système d'intelligence artificielle ? Comment ces valeurs sont-elles liées à la méthode d'entraînement du système ? Plus précisément, comment mesurons-nous l'impact de la « composition » de l'intelligence artificielle sur son comportement après déploiement ? Nous étendrons les recherches précédentes sur ces questions.
• Gouvernance des agents autonomes : Quels aspects des lois, systèmes de gouvernance et mécanismes de responsabilité existants peuvent s'appliquer aux agents d'intelligence artificielle autonomes ? Par exemple, comment le droit maritime traite-t-il les questions de navires abandonnés, et comment cela se relie-t-il à la manière dont le droit traite les agents autonomes non supervisés ? Inversement, existe-t-il des aspects du droit existant qui s'appliquent déjà aux agents d'intelligence artificielle mais qui ne devraient pas s'appliquer ?
• Fiabilité des agents : Quels aspects des agents d'intelligence artificielle autonomes peuvent être ajustés pour s'adapter aux cadres juridiques, aux systèmes de gouvernance et aux mécanismes de responsabilité existants ? Par exemple, pouvons-nous garantir que les agents d'intelligence artificielle possèdent une identité unique et fiable, même en l'absence de contrôle humain direct ?
• L’IA gouverne l’IA : comment pouvons-nous exploiter efficacement l’IA pour réguler les systèmes d’IA ? Dans quels domaines de la régulation de l’IA les humains présentent-ils un avantage comparatif, ou sont-ils obligés, en vertu de dispositions légales ou normatives, de « participer » ?
• Interactions entre agents : Quelles normes émergent lors des interactions entre agents d'intelligence artificielle ? Comment les différents agents expriment-ils leurs préférences respectives, et comment ces préférences influencent-elles les autres agents ?

Recherche et développement pilotée par l'intelligence artificielle

À mesure que les systèmes d'intelligence artificielle deviennent de plus en plus puissants, les scientifiques les utilisent pour mener de plus en plus de recherches. Cela signifie qu'une part croissante de la recherche scientifique est menée de manière autonome ou semi-autonome, avec une intervention humaine de plus en plus réduite. Dans le domaine de la recherche en intelligence artificielle, des systèmes de plus en plus puissants peuvent être utilisés pour développer leurs propres versions ultérieures. Nous appelons parfois ce modèle « la recherche en intelligence artificielle pilotée par l'intelligence artificielle ».

Le développement de l'intelligence artificielle par l'intelligence artificielle pourrait être un « avantage naturel » pour créer des systèmes plus intelligents et plus puissants. Tout comme les progrès dans la capacité de codage ont donné naissance à des capacités numériques à usage militaire et civil, les progrès dans la capacité scientifique pourraient engendrer des capacités biologiques à usage militaire et civil, les avancées dans le travail technologique complexe pourraient naturellement produire des systèmes d'intelligence artificielle capables de se développer eux-mêmes.

Le développement de l'intelligence artificielle par l'intelligence artificielle comporte des risques potentiels considérables. Il est essentiel que les décideurs politiques comprennent les tendances de la vitesse de développement de l'IA et si la recherche en IA commencera à générer un effet d'accumulation.

Intelligence artificielle utilisée pour le développement de l'intelligence artificielle

• La gouvernance du développement de l'intelligence artificielle : si des systèmes d'intelligence artificielle sont utilisés pour développer et améliorer autonome leur propre fonctionnement, comment les humains peuvent-ils efficacement comprendre et contrôler ces systèmes ? En fin de compte, quoi gouvernera ces systèmes ?
• Exercice d'urgence en cas de diffusion d'informations : Comment réalisons-nous un exercice d'urgence en cas de diffusion d'informations ? Comment mener un exercice de table pour véritablement évaluer la capacité décisionnelle des dirigeants du laboratoire, du conseil d'administration et du gouvernement ?
• Télémétrie du développement de l'IA : Comment mesurons-nous la vitesse globale du développement de l'IA ? Quelles technologies de télémétrie et quelles infrastructures sous-jacentes sont nécessaires pour collecter ces informations ? Comment les indicateurs liés au développement de l'IA peuvent-ils servir de signaux d'alerte précoce pour une amélioration récursive et autonome ?
• Contrôler l'accélération de l'intelligence artificielle : si une explosion de l'intelligence est imminente, quels points d'intervention pourraient ralentir ou modifier cette vitesse d'explosion ? Supposons que les humains puissent intervenir, quelles entités devraient exercer cette capacité — les gouvernements ? Les entreprises ?

L'application de l'intelligence artificielle dans le domaine de la recherche — c'est-à-dire la recherche dans d'autres domaines pilotée par l'intelligence artificielle :

• Arbre technologique : L’intelligence artificielle accélère le développement de certains domaines scientifiques bien plus que d’autres, en fonction de la disponibilité des données, des indicateurs d’évaluation et du nombre de connaissances implicites ou soumises à des restrictions institutionnelles. À quel point ce gradient de développement est-il inégal ? Quels problèmes humains seront prioritairement résolus en raison des changements induits par les progrès scientifiques ?
• Un terrain accidenté : les capacités des modèles sont plus fortes dans certains domaines que dans d'autres. Les domaines présentant de fortes externalités positives — comme la recherche pharmaceutique et les sciences des matériaux — reçoivent des investissements bien inférieurs à ce que leur valeur mériterait. Le marché oriente les améliorations des modèles selon les rendements privés, mais pouvons-nous améliorer les performances des modèles pour prendre en compte les externalités sociales ?

Cet article provient du compte officiel WeChat « Value Research » (ID : jiazhiyanjiusuo), auteur : Dingxi