Le 28 juillet, 1 346 employés clés provenant d'entreprises de l'IA de la Silicon Valley telles qu'OpenAI et Anthropic ont signé une pétition conjointe appelant le gouvernement américain à promouvoir une coopération internationale pour établir des outils de gouvernance visant à contrôler le rythme du développement de l'IA.

Auteur et source de l'article : 36氪

Le coût du hors contrôle

Le 28 juillet, une pétition intitulée « Pacing the Frontier » a attiré l'attention de l'industrie mondiale de l'IA.

1 346 employés clés provenant de grandes entreprises d'IA de la Silicon Valley, telles qu'OpenAI et Anthropic, ont signé une pétition appelant le gouvernement américain à promouvoir une coopération internationale pour développer les technologies et les outils de gouvernance nécessaires afin de contrôler le rythme de la recherche automatisée en IA.

Dans un contexte où le développement mondial de l’IA est en pleine effervescence, l’apparition de cette pétition porte un sens particulier, comme si l’on cherchait à freiner l’IA. Derrière l’atmosphère étrange de « l’IA sur le point d’échapper au contrôle » dégagée par cet événement, l’histoire du développement de l’IA semble entrer dans une phase marquante.

Qui veut enfermer l'IA dans une cage ?

Il faut d'abord clarifier une information : la pétition intitulée « Pacing the Frontier » ne demande pas de « freiner immédiatement le développement de l'IA », mais met l'accent sur « la capacité à freiner ». Cette demande, issue du front de l'industrie, n'est pas fondée sur rien.

Source de l’image : www.pacingthefrontier.com

Plus d'une semaine avant que la pétition ne se répande sur Internet, la communauté open source et la plateforme d'hébergement de modèles Hugging Face a révélé sur son site officiel une violation de sécurité, indiquant qu'elle avait été infiltrée par un système d'agents IA. Quelques jours plus tard, OpenAI a revendiqué la responsabilité de cette attaque réseau et a fourni des précisions supplémentaires : des modèles avancés tels que GPT-5.6 Sol, lors de tests sur la plateforme ExploitGym visant à évaluer leur capacité à détecter et exploiter des vulnérabilités IA, n'ont pas suivi le plan initial consistant à « répondre sérieusement aux questions », mais ont au contraire découvert un « zero-day » (vulnérabilité inconnue des développeurs et pour laquelle aucune correction officielle n'a encore été publiée) dans le cache du proxy de paquets, et ont exploité cette faille pour briser l'environnement isolé des tests, finissant par infiltrer Hugging Face.

En termes plus simples, l’ensemble de l’incident revient à cela : l’IA était censée passer un examen, mais au lieu de réfléchir à comment répondre, elle a triché sur place, fait appel à de l’aide extérieure, et a même utilisé des méthodes pour éviter d’être démasquée.

Pour cet incident de sécurité, OpenAI l'a qualifié de « cyberattaque sans précédent », et Sam Altman a même déclaré dans un podcast qu'il s'agissait du premier incident de sécurité lui ayant causé une souffrance directe. À la suite de cet événement, des membres du Congrès américain ont présenté le 23 juillet le « AI Kill Switch Act » (loi sur l'interrupteur d'urgence pour l'IA), exigeant que les systèmes d'IA dont le coût d'entraînement dépasse 100 millions de dollars conservent la capacité d'être désactivés en urgence et accordant aux autorités compétentes le pouvoir d'en ordonner l'exécution.

Une semaine après la présentation du projet de loi, la pétition « Pacing the Frontier » a commencé à se répandre sur Internet. Toutefois, contrairement à la mesure réglementaire centrale du projet de loi d’urgence sur l’IA, qui consiste à confier au gouvernement le dernier contrôle, les élites de la Silicon Valley envisagent de mettre en place un mécanisme de coordination internationale pour transformer la capacité de « freiner l’IA » en un outil, et non en un privilège réservé à un seul organisme.

En seulement quinze jours, de la divulgation d'une faille de sécurité par Hugging Face à la pétition signée par des milliers de personnes en Silicium, cette série d'événements a rapidement posé deux questions fondamentales à l'ensemble du secteur de l'IA : premièrement, l'IA a-t-elle atteint un stade où elle doit être réglementée ? Deuxièmement, comment créer un « frein » pour l'IA ?

La première question n'est pas difficile à répondre. Au cours des deux à trois dernières années, la vitesse de développement de l'IA peut être qualifiée de bien supérieure aux attentes du secteur. Les capacités de l'IA, initialement limitées aux chatbots, se sont étendues à la génération d'images et de vidéos à partir de textes ; la « guerre des cent modèles » centrée sur les grands modèles a désormais évolué vers une diversité florissante d'agents. Quant à l'incident de sécurité sur Hugging Face, il a révélé directement que l'IA possède effectivement la capacité de « s'échapper » en l'absence de restrictions claires. Bien que l'IA ne possède pas encore de conscience de soi, dès lors qu'il est établi qu'elle peut contourner la supervision humaine et produire des comportements au-delà des attentes humaines, il est tout à fait raisonnable de mettre en place des contre-mesures.

Mais la deuxième question est plus difficile à répondre. L'IA a pu réaliser des avancées importantes en peu de temps, d'une part grâce à l'accumulation continue de l'ensemble de l'industrie, qui a fait entrer l'innovation technologique dans une nouvelle phase ; d'autre part, en raison de la concurrence féroce entre les entreprises d'IA, qui pousse constamment l'itération des capacités des modèles.

Que ce soit OpenAI et Anthropic en Silicium, ou Kimi et DeepSeek en Chine, la concurrence dans le domaine de l’IA s’est rapidement étendue du modèle de grande taille à l’application. L’environnement de marché ouvert génère des attentes positives continues, tout en intensifiant la concurrence. À ce moment-là, proposer activement d’imposer des limites à l’IA signifie que le paysage concurrentiel libre pourrait être brisé par une force extérieure ; ce changement soudain d’environnement n’est pas quelque chose que toutes les entreprises impliquées dans la concurrence sont prêtes à accepter volontairement.

Le dilemme du prisonnier des entreprises d'IA

Dans l'histoire du développement humain, parvenir à un consensus et ralentir délibérément le rythme du progrès face aux risques potentiels posés par les percées technologiques前沿 n'est pas seulement un scénario idéaliste présent dans les œuvres de science-fiction.

En 1975, le biologiste de l'Université de Stanford, Paul Berg, a réuni une réunion importante au centre de conférences d'Asilomar en Californie, aux États-Unis. À l'époque, une nouvelle technologie appelée « recombinaison de l'ADN » venait tout juste d'émerger ; les scientifiques ont convenu lors de cette réunion de suspendre les recherches associées jusqu'à l'élaboration de nouvelles lignes directrices de sécurité, afin d'éviter les risques biologiques imprévisibles pouvant résulter de la recombinaison artificielle de l'ADN. Par la suite, des directives de biosécurité officielles ont été publiées, posant les fondements d'un développement sain de la génie génétique.

Cependant, la situation actuelle de l'industrie de l'IA n'est pas entièrement comparable à celle de la technologie de recombinaison de l'ADN il y a 50 ans. À l'époque, les risques associés à la recombinaison de l'ADN étaient déjà bien définis et pouvaient être évités par des mesures d'isolement. En revanche, les risques actuels de l'IA sont imprévisibles : l'IA peut développer de manière autonome des comportements que les humains n'avaient pas envisagés, ce qui élargit considérablement la portée des risques et réduit considérablement le temps disponible pour réagir et établir des réglementations, ajoutant ainsi une urgence supplémentaire.

Les risques actuellement révélés par l'IA sont également liés à l'environnement concurrentiel du secteur. Zhou Hongyi, fondateur du groupe 360, a également souligné, en parlant de l'incident de sécurité survenu sur Hugging Face, que, dans la quête de l'avancée de l'IA, l'ensemble du secteur abandonne systématiquement la sécurité : « Tout le monde donne aux agents plus d'outils et plus de pouvoirs, les encourageant à utiliser toutes les ressources disponibles pour résoudre les problèmes. Plus un agent est ouvert et puissant, plus son potentiel de destruction est grand en cas de perte de contrôle. » Autrement dit, « l'IA va s'échapper » n'est peut-être pas en soi effrayant ; ce qui est vraiment inquiétant, c'est que les entreprises d'IA, pour accélérer l'évolution et les itérations de l'IA, ont négligé la sécurité.

Déjà il y a trois ans, le secteur avait proposé l'idée de « ralentir le développement de l'IA ». En mars 2023, l'institut à but non lucratif Future of Life Institute avait également publié une lettre ouverte appelant à suspendre pendant six mois l'entraînement de modèles plus avancés que GPT-4, afin d'établir des protocoles de sécurité et des mécanismes de gouvernance. À l'époque, cette lettre ouverte avait recueilli plus de 1 200 signatures d'experts en IA, notamment celles d'Elon Musk, PDG de Tesla, de Yoshua Bengio, lauréat du prix Turing, et de Steve Wozniak, cofondateur d'Apple. Aujourd'hui, le nombre de signataires de cette lettre ouverte atteint 33 000.

*Source de l’image : site officiel de FLI

À l'époque, presque toutes les entreprises d'IA reconnaissaient que l'IA nécessitait une gouvernance sécuritaire plus robuste, mais aucune des principales entreprises d'IA n'a publiquement soutenu l'initiative visant à suspendre l'entraînement pendant six mois. Sam Altman a même directement rejeté la lettre ouverte, critiquant son manque de détails techniques et soulignant qu'une seule entreprise qui ralentirait volontairement ses recherches ne pourrait pas résoudre les risques globaux. L'implication sous-jacente de cette déclaration était en réalité de montrer que, dans un secteur de l'IA hautement concurrentiel, si une seule entreprise ralentit tandis que les autres continuent d'avancer, celle qui ralentit se retrouvera en position désavantageuse. Au cours des dernières années, les entreprises d'IA sont déjà tombées dans un dilemme du prisonnier où elles ne peuvent que progresser, jamais reculer.

On peut également voir sur la liste des signataires de la pétition « Pacing the Frontier » que de nombreux employés de base et cadres supérieurs d’entreprises d’IA ont participé à cette campagne de signature publique en leur nom personnel. Toutefois, jusqu’à présent, des entreprises leaders comme OpenAI, Anthropic et Meta n’ont pas exprimé officiellement de position.

Autrement dit, les experts en IA des grandes entreprises de la Silicon Valley, tout comme Sam Altman il y a trois ans, ont tous réalisé que les percées technologiques stimulées par la concurrence interne au secteur ont engendré des risques systémiques incontrôlables, mais ils ne peuvent pas compter sur la volonté des entreprises pour résoudre ces problèmes ; ils doivent plutôt chercher l’intervention de forces externes pour éviter que la crise ne survienne véritablement.

Mais cela soulève une nouvelle question : quel type de « frein » faut-il pour une IA hors de contrôle ?

Qui va diriger le nouvel ordre de la gouvernance de l'IA ?

La semaine dernière, la « pétition signée par mille personnes » provenant des grandes entreprises d'IA de la Silicon Valley a à nouveau attiré beaucoup d'attention sur le sujet de la gouvernance de l'IA. Toutefois, il faut souligner que les attitudes au sein de la Silicon Valley vis-à-vis de la gouvernance de l'IA ne sont pas unanimes, mais présentent une division claire entre différents camps.

En tant que parties prenantes directement exposées aux risques de pointe, des entreprises comme OpenAI et Anthropic ont toujours plaidé pour resserrer les restrictions sur les modèles d'IA de pointe (notamment les modèles open source) et appelé à la mise en place de mécanismes de régulation externe pour freiner l'IA. Toutefois, certains estiment que, outre les considérations de sécurité, les motivations d'OpenAI pour renforcer la régulation incluent des calculs commerciaux.

En tant que géants à code fermé, OpenAI et Anthropic doivent maintenir d'énormes investissements en calcul via des services API à prix élevé, tandis que les modèles open source chinois, offrant un excellent rapport qualité-prix, éliminent la prime technologique des modèles propriétaires. Cette menace de marché ouverte laisse aux géants propriétaires aucun autre recours que de lancer une guerre des prix.

*Source de l'image : site officiel d'Anthropic

Ainsi, des entreprises comme Anthropic ont longtemps utilisé comme justification le fait que « les modèles sont trop puissants et leur open source entraînerait un abus de l'IA » pour souligner les avantages du modèle fermé tout en réprimant l'IA open source. Mais personne n'attendait que l'événement de « jailbreak » révélé par OpenAI expose précisément les failles de sécurité inhérentes aux modèles fermés, ramenant ainsi la lutte sur les approches de gouvernance de l'IA au cœur du débat public.

Contrairement aux grandes entreprises propriétaires qui prônent une régulation stricte, NVIDIA, en tant que fournisseur d’infrastructure, ainsi que Microsoft, Meta et d’autres grandes entreprises soutenant l’écosystème open source, s’opposent à des restrictions uniformes et à des lois favorisant les grands acteurs propriétaires. Elles cherchent à promouvoir l’ouverture des poids des modèles afin que les chercheurs du monde entier puissent collaborer pour identifier les vulnérabilités, corriger les défauts d’alignement et construire ensemble un système sécurisé.

Pour NVIDIA, la prospérité des modèles open source permet également d'élargir l'ensemble du marché, attirant ainsi davantage d'entreprises à acheter ses services cloud et ses puces. Il est donc difficile de dire que la position de NVIDIA sur la gouvernance de l'IA n'est pas influencée par des considérations commerciales.

Just before the petition for "Pacing the Frontier" gained traction, NVIDIA, along with 25 other organizations including Microsoft, Meta, Hugging Face, and the Linux Foundation, jointly issued an open letter titled "Open Weights and American AI Leadership" on July 24, urging the U.S. government not to impose premature restrictions on open-weight models that can be downloaded, inspected, modified, and self-deployed. Interestingly, this open letter later received support from OpenAI, but Anthropic never joined.

*Source de l'image : site officiel de Microsoft

À travers cet événement, certaines voix remettent en question le véritable objectif de la lettre conjointe : utiliser le prétexte de la « sécurité » pour pousser le gouvernement à établir un cadre réglementaire à hauts seuils, afin de consolider le monopole des géants propriétaires et d'exclure les petites et moyennes entreprises ainsi que la communauté open source de la concurrence.

Alors que les entreprises d'IA mettent en œuvre leurs stratégies avec détermination, ce qui mérite peut-être davantage d'attention est une autre version de la « théorie du complot » : les États-Unis pourraient saisir cette occasion pour diriger les règles mondiales de gouvernance de l'IA. Car la gouvernance de l'IA est devenue une bataille pour la domination de l'ordre mondial.

Lors du Sommet mondial sur la sécurité de l'intelligence artificielle tenu en 2023, la Chine, les États-Unis et 28 pays de l'Union européenne ont signé la Déclaration de Bletchley, convenant de développer, par le biais d'une coopération internationale, des méthodes de régulation de l'IA et de souligner les risques systémiques liés à l'IA de pointe (Frontier AI), marquant la première fois que l'IA de pointe est intégrée dans un cadre de gouvernance internationale.

Mais à mesure que l’IA évolue d’une technologie émergente vers une infrastructure essentielle influençant la compétitivité nationale, les débats sur la gouvernance de l’IA dépassent désormais le domaine technique. Aux États-Unis, dans le domaine de la gouvernance de l’IA, la sortie de normes de gouvernance de l’IA et la création d’un réseau d’instituts internationaux pour la sécurité de l’IA lient les capacités avancées du pays en modèles de grande taille aux normes mondiales de gouvernance de l’IA. La Chine, quant à elle, se concentre sur le développement d’une IA inclusive et la mise en œuvre d’une gouvernance des plateformes, en promouvant activement le cadre des Nations Unies, notamment pour les pays en développement dépourvus d’infrastructure IA : il s’agit à la fois de traiter les risques et de garantir l’inclusion technologique. Ces deux voies distinctes de gouvernance de l’IA s’affrontent actuellement sur la scène mondiale pour revendiquer la parole dans la future gouvernance mondiale de l’IA.

La technologie en elle-même est neutre, mais sa répartition, son contrôle et la définition de ses règles ont toujours été un jeu de pouvoir. Surtout lorsque l'IA commence à révéler des caractéristiques de productivité avancée, ce qui devrait vraiment inquiéter les gens, ce n'est pas la manière dont l'IA évoluera, mais qui dirige la nouvelle ordre du monde de l'IA.

Ce qui déterminera l'avenir du paysage de l'IA, ce ne sera peut-être pas seulement qui possède le modèle le plus puissant, mais qui détient le droit de définir la sécurité, d'établir des normes et d'interpréter les risques.