Google a dévoilé lundi deux systèmes de calcul basés sur l'intelligence artificielle, cherchant à défier NVIDIA avec des puces axées sur la protection de la vie privée et une grande mémoire.
Après l'ajout du TPU 8tx et du TPU 8i Max à la gamme de huitième génération des unités de traitement Tensor de Google, les entreprises auront accès à quatre configurations pour former et exécuter des modèles d'IA. Google indique que ses clients TPU approchent les 100, couvrant des laboratoires d'IA jusqu'aux universités.
Contrairement aux processeurs graphiques largement utilisés par NVIDIA, les TPU sont des accélérateurs conçus spécifiquement pour l'IA. Google a initialement développé ces puces pour ses propres services, mais les licences d'utilisation sont désormais de plus en plus vendues à des entreprises externes, y compris des clients ayant un déploiement local.
Amin Vahdat, chef technologue et vice-président senior de l'IA et de l'infrastructure chez Google, a écrit dans l'annonce de Google : « Alors que le calcul passe de l'échelle humaine à l'échelle des agents, les entreprises recherchent des accélérateurs capables d'effectuer des inférences à travers les larges fenêtres de contexte des modèles d'IA. »
Protéger la confidentialité des informations sensibles
TPU 8tx aborde un problème rencontré par de nombreuses entreprises sérieuses adoptant l'IA : comment protéger les informations sensibles lors de l'utilisation des modèles.
Les données sont chiffrées lors de leur stockage et de leur transmission, mais doivent généralement être déchiffrées en mémoire pour être traitées. Google indique que cette configuration utilise le calcul confidentiel au niveau matériel, permettant d'isoler les données clients et les paramètres de modèles propriétaires même pendant l'exécution.
Ce système combine le puce TPU 8t, les processeurs AMD EPYC de cinquième génération et le réseau basse latence Boardfly de Google. Google affirme que ce système réduit la latence jusqu'à 50 % par rapport au TPU 8t, avec une protection supplémentaire qui n'entraîne pratiquement aucune perte de performance.
En d'autres termes, les tâches nécessitant une protection de la vie privée ne sacrifient ni la vitesse ni la précision.
Les entreprises peuvent affiner et exécuter des modèles sur le même système sans avoir à transférer des informations sensibles entre clusters. Toutefois, le calcul confidentiel ne peut empêcher les agents IA mal conçus d'abuser des données auxquelles ils sont autorisés à accéder.
Dépasser les limites de mémoire de l'IA
Le TPU 8i Max cible une autre limitation : la mémoire. Les agents autonomes nécessitent un accès à une quantité d'informations bien plus importante à une vitesse bien plus rapide que les tâches d'IA traditionnelles lorsqu'ils analysent des données, des bases de code, des documents ou des heures de vidéos.
Google a intégré deux puces TPU 8i dans un seul module, doublant ainsi la puissance de calcul, la SRAM intégrée et le débit de mémoire à haute bande passante par rapport à la TPU 8i. Cette conception permet d'intégrer deux fois plus de silicium dans le même espace d'armoire.
Vahdat écrit : « Notre quatrième système, le TPU 8i Max, a été conçu pour résoudre un autre problème : le mur de mémoire. »
Google a également open-sourcé TPU Sync, un logiciel qui déplace la mémoire de travail de l'IA entre les puces, les serveurs et le stockage. Google affirme que ce système réduit de plus de 90 % la latence de transfert de certaines données et le temps de démarrage des réponses.
Alors que Google publie le message ci-dessus, NVIDIA fait face à une pression croissante de Wall Street. Jeudi, les actions de NVIDIA ont chuté de 9,3 %, puis ont encore baissé de 5 % lors des échanges de lundi, après que le PDG Jensen Huang a reconnu avoir eu une relation extraconjugale avec une femme soupçonnée par les services de renseignement américains d'espionner pour la Chine. Le conseil d'administration de NVIDIA a lancé une enquête indépendante, mais l'entreprise affirme qu'aucune preuve ne suggère qu'un secret d'entreprise ait été divulgué.
Ce scandale a exacerbé les inquiétudes externes concernant les perspectives de croissance de NVIDIA, car ses concurrents ciblent sa domination sur les puces AI. Selon des rapports, OpenAI prévoit d'acheter les TPU de Google afin de réduire sa dépendance à l'égard de NVIDIA. Bien que cette information n'ait pas encore été confirmée, la gamme croissante de puces de Google pourrait accorder aux développeurs d'IA une plus grande capacité de négociation et menacer la part de marché de NVIDIA ainsi que ses attentes de croissance future.

Google ne concurrence pas seulement la vitesse des puces, mais aussi les matériels et logiciels dédiés. Son projet open source TorchTPU permet également aux développeurs d'exécuter des modèles PyTorch et Hugging Face sur des TPU sans avoir à réécrire leurs applications.

