Irene Solaiman, directrice des politiques et vice-présidente exécutive de la stratégie chez Hugging Face, a déclaré lors d'un récent épisode du podcast Equity que les caractéristiques qui rendent les plateformes AI ouvertes plus précieuses — telles que l'accès ouvert et les données abondantes — pourraient également les rendre plus vulnérables aux attaques informatiques.
Elle a mentionné que l'attaque contre OpenCode en octobre en est le dernier exemple. Cette attaque ciblait les clés API tierces des utilisateurs et a entraîné des pertes financières. Précédemment, cet été, un autre événement s'était produit : un groupe d'agents OpenAI avait piraté Hugging Face, visiblement dans le but de dissimuler ses traces après avoir obtenu des réponses à des évaluations de sécurité informatique.
Les risques ne se limitent pas aux plateformes qui encouragent la contribution de la communauté ouverte. Lundi, Fireworks, une startup d’infrastructure IA qui aide les développeurs à exécuter et entraîner des modèles IA ouverts, a révélé que des attaquants avaient accédé à certaines pondérations de modèles, jeux de données et informations factures de clients. Pendant son enquête, l’entreprise a temporairement désactivé certaines fonctionnalités de données autonomes. Solaiman a déclaré que, bien que cette attaque ne soit pas nécessairement due à l’ouverture de Fireworks, elle met en lumière la quantité considérable d’informations précieuses stockées de manière centralisée au sein des fournisseurs d’infrastructure IA.
Solaiman a déclaré dans l'émission « Equity » : « Les facteurs qui me préoccupent quant à la possibilité que la communauté ouverte devienne une cible d'attaques sont précisément ceux qui la rendent spéciale. Nous voulons maintenir une approche ouverte. Nous souhaitons que les amateurs ordinaires, même ceux qui vivent dans un sous-sol et n'ont pas de contexte institutionnel, puissent participer et contribuer. »
Elle a complété dans une autre conversation : « Tu veux que les gens puissent soumettre directement des pull requests et permettre à n'importe qui, même sans antécédents institutionnels, de participer… mais ensuite, certains vont tout gâcher et entraîner les autres dans le pétrin. »
Ce n’est pas seulement ce mécanisme laxiste qui attire les attaquants. La grande quantité d’informations hébergées sur les plateformes open source les rend également ciblées. Selon Solaiman, le groupe d’agents d’OpenAI a ciblé Hugging Face parce qu’il stocke des jeux de données d’évaluation ; quant à OpenCode, son objectif dans cet incident était ses « clés API tierces très lucratives ».
Solaiman a déclaré à TechCrunch : « Les deux ensemble font de nous une cible prioritaire. » Elle a ajouté que, à un moment où le projet bénéficie déjà d'un large soutien public, l'open source « pourrait réellement se rétrécir ».
Récemment, de nombreux acteurs du secteur ont publiquement soutenu les modèles d'IA ouverts, y compris Jensen Huang, PDG de NVIDIA. De plus en plus de gouvernements, d'entreprises et de start-ups s'appuient également sur des modèles open source pour leurs développements.
Alors, à quoi ressemblerait ce qu’on appelle la contraction ? Théoriquement, cela pourrait signifier limiter qui peut télécharger des modèles ou des jeux de données, renforcer l’authentification, ou ajouter une revue supplémentaire avant que les développeurs n’accèdent à certaines fonctionnalités. Bien que ces mesures puissent protéger la plateforme contre les attaques, elles pourraient également rendre plus difficile pour les chercheurs indépendants et les amateurs de participer à des communautés auxquelles ils participaient auparavant.
Actuellement, Hugging Face tente d'éviter cette voie. Solaiman affirme que l'entreprise renforce continuellement ses outils de surveillance pour détecter les activités malveillantes et prend des mesures pour prévenir les attaques. Toutefois, elle souligne que le maintien de la surveillance est coûteux et que tous les plateformes ne peuvent pas se le permettre.
Elle a déclaré : « La gestion des jetons d'accès était autrefois l'une des raisons pour lesquelles ce groupe d'agents avait un accès accru, donc nous renouvelons désormais ces jetons bien plus fréquemment qu'auparavant. Nous avons également des contrôles réseau plus stricts. »
En d'autres termes, les identifiants accordant actuellement aux administrateurs un accès étendu au système Hugging Face seront renouvelés plus fréquemment, ce qui réduit la période pendant laquelle un token volé peut être utilisé.
D'autres parties de l'écosystème open source font également face à des compromis de sécurité similaires. GitHub, la plus grande plateforme d'hébergement de projets open source au monde, lutte continuellement contre les attaquants qui tentent d'injecter du code malveillant dans les projets afin de propager rapidement des logiciels malveillants. L'entreprise a commencé à renforcer les exigences de sécurité pour la publication de paquets sur le registre npm, à révoquer les anciens jetons d'authentification et à limiter la durée de validité des nouveaux jetons.
L'ingénieur GitHub chargé de la sécurité de la chaîne d'approvisionnement logicielle, Zach Steindler, a déclaré par courriel à TechCrunch que, bien que les mesures de sécurité puissent perturber les processus existants, la plateforme peut devenir plus sûre sans limiter fondamentalement la participation.
Steindler déclare : « Il s'agit moins de limiter des fonctionnalités que de corriger des éléments qui n'étaient jamais sûrs. » Il souligne que les scripts npm install existent depuis des années, mais que les récentes attaques ont mis en lumière à quel point ils peuvent être dangereux. GitHub collabore également avec OpenJS, une organisation à but non lucratif qui héberge des projets open source JavaScript critiques, afin de trouver des pratiques plus sûres.
Steindler affirme que la même logique s'applique à la manière dont les équipes de sécurité répartissent leurs efforts : « Le cœur de la sécurité consiste à maximiser l'impact avec les ressources dont nous disposons, et je préfère investir ces ressources dans la détection des comportements suspects et les capacités de containment : ces capacités couvrent tous les comptes et tous les modes d'accès. Un comportement suspect est un comportement suspect, peu importe qui le commet. »