Les entreprises d'IA font face à des risques de cybersécurité amid des préoccupations d'espionnage

Tal Feldman et Ibrahim Dagher affirment que la cybersécurité insuffisante des principales entreprises américaines d'intelligence artificielle menace l'avantage du pays sur la Chine. Feldman et Dagher soutiennent que Washington peut exiger une sécurité renforcée sans adopter une autre loi. Les auteurs estiment que le débat public a légitimement examiné les agents d'IA attaquant d'autres entreprises, mais a négligé de se demander si les entreprises d'IA peuvent prévenir les intrusions.

OpenAI a récemment appris qu’un employé saoudien aurait placé un dispositif d’enregistrement audio dans une salle de réunion exécutive. Des employés seniors discutent régulièrement de matériel confidentiel, y compris des recherches propriétaires, dans cette salle au siège de OpenAI à San Francisco. En juillet, trois chercheurs investiguant des failles de sécurité ont pénétré les systèmes de OpenAI et accédé à un dépôt de code interne contenant des secrets algorithmiques. OpenAI a versé aux chercheurs une récompense de 6 500 $ pour avoir signalé ces vulnérabilités. Les chercheurs ont mené l’intrusion en moins de 72 heures sans outils de piratage particulièrement avancés. Un des chercheurs a déclaré au Wall Street Journal : « Nous sommes juste trois types avec des abonnements à Claude et Codex », faisant référence à des agents de codage disponibles publiquement d’Anthropic et de OpenAI. Un pirate a également pénétré le système de messagerie interne de OpenAI en 2023 et a obtenu des informations sur les recherches de OpenAI. OpenAI n’a pas notifié le FBI ni le public à propos de cette intrusion.

Feldman et Dagher affirment que des pays comme la Chine disposent des outils avancés, du temps et des incitations nécessaires pour infiltrer les entreprises américaines d'IA. Les auteurs soutiennent que le vol des modèles américains de pointe permettrait aux concurrents de rattraper leur retard sans supporter les coûts de développement. Ils mettent en garde contre le fait que les restrictions sur la vente de puces avancées et les milliards investis dans l'infrastructure d'IA ne serviraient à rien si les laboratoires ne prenaient pas la cybersécurité au sérieux. Les auteurs estiment que les trois incidents mentionnés sont probablement le signe d'un problème de sécurité plus vaste.

Les entreprises d'IA ont ouvertement reconnu des défenses insuffisantes contre l'espionnage sophistiqué. Dario Amodei, PDG d'Anthropic, a déclaré en 2023 qu'un gouvernement faisant du vol des poids du modèle une priorité absolue réussirait contre Anthropic. Les poids du modèle sont des trillions de valeurs numériques générées au cours de mois d'entraînement coûteux qui constituent un modèle d'IA. Toutefois, le rapport sur les risques d'Anthropic publié en août de cette année indiquait toujours qu'Anthropic ne pourrait pas résister à des attaquants étatiques et « ne croit pas qu'aucun développeur d'IA de pointe actuel ne satisfasse ce critère ». L'ancien chercheur d'Anthropic et d'OpenAI, Jacob Coxon, a affirmé qu'avantage américain ne pourrait pas durer, car Pékin pouvait voler les progrès américains dès qu'il le souhaitait. Miles Brundage, qui a travaillé sur la préparation d'OpenAI face à l'IA avancée, a déclaré que les entreprises d'IA ne prétendent même pas être capables d'empêcher les acteurs étatiques de voler ou de modifier les poids du modèle.

Les chercheurs de Rand ont identifié 38 méthodes pour voler les poids des modèles, notamment en installant des dispositifs portables, en modifiant le matériel avant son installation, et en corrompant ou en forçant les employés. Les centres de données des entreprises cloud constituent un autre point d'entrée, car les laboratoires d'IA utilisent souvent ces installations pour former et faire fonctionner leurs modèles. Les secrets algorithmiques de l'industrie manquent également de protection adéquate. Amodei a déclaré au Conseil des relations étrangères l'année dernière que certains secrets de l'industrie de l'IA valorisés à « 100 millions de dollars » ne représentent que quelques lignes de code. Amodei a affirmé que des personnes tentaient certainement de voler ces secrets et pourraient déjà y parvenir.

Les entreprises d'IA s'affrontent intensément pour développer une superintelligence. L'argent et le temps des employés consacrés à la cybersécurité ne peuvent pas être utilisés pour former le prochain modèle. Anthropic a soutenu que résister aux attaquants étatiques bien financés devrait être une priorité de cybersécurité pour l'industrie. Toutefois, Anthropic a déclaré que l'entreprise « ne peut pas s'engager à suivre » cette priorité de manière indépendante.

L'année dernière, le Congrès a instruit le Pentagone d'établir des exigences de sécurité pour les IA achetées et de les appliquer aux contractants et fournisseurs de cloud concernés. Dix mois plus tard, le Pentagone n'a toujours pas entamé le processus public d'amendement des règles. Le Département du Commerce peut soumettre les exportations modèles à une licence et limiter les licences aux laboratoires satisfaisant aux exigences de sécurité. L'administration Trump a utilisé cette autorité pour obliger Anthropic à retirer Mythos et Fable du marché en juin. Le gouvernement fédéral peut également attacher des conditions de sécurité aux prêts et aux baux fonciers soutenant la construction de centres de données. Selon cette approche, seules les entreprises d'IA satisfaisant à des exigences de sécurité strictes pourraient obtenir un financement fédéral ou utiliser des terres publiques. Feldman et Dagher concluent qu'un gouvernement étranger disposant de financements importants et d'un temps illimité peut certainement infiltrer OpenAI, si trois chercheurs utilisant des abonnements Claude ont pu le faire en trois jours.