Nvidia annonce officiellement la production de masse du système de rack Groq 3 LPX, permettant la livraison commerciale de ce matériel d'inférence acquis, devenant ainsi le sujet le plus chaud du secteur du matériel AI. Cela déplace directement le focus de la concurrence industrielle, passant de l'entraînement de grands modèles à la capacité d'inférence à faible latence pour les scénarios d'agents. Ce matériel fait partie de l'empilement technologique Vera Rubin, axé sur une vitesse extrêmement rapide de sortie de tokens. Dans des scénarios de contexte long de 100 000 tokens, il peut atteindre des débits de plusieurs milliers de tokens par seconde. Selon les données de test officielles, le coût de calcul peut être réduit jusqu'à 35 fois par rapport à la génération précédente dans certains cas spécifiques, conçu spécifiquement pour des scénarios extrêmement sensibles à la latence, tels que les agents intelligents et l'exécution automatique de programmes. De nombreux projets d'agents ont jusqu'à présent échoué à être commercialisés, principalement en raison d'une latence d'inférence trop élevée, obligeant les utilisateurs à attendre longtemps que le modèle termine des tâches en plusieurs étapes, rendant l'expérience difficile à déployer. Le premier fournisseur de cloud a déjà intégré ce système de rack. À l'avenir, les fournisseurs de services cloud pourront proposer des forfaits API haut de gamme à faible latence basés sur cette technologie, destinés aux clients entreprises exigeant une grande vitesse. Mais cela redéfinira également le modèle économique du cloud AI : à l'avenir, les services AI ne seront plus uniquement jugés selon la taille des paramètres du modèle ; la performance matérielle d'inférence deviendra un point de vente crucial pour chaque fournisseur de cloud. Cette mise en production libère également un signal industriel important : le prochain champ de bataille de l'IA ne se situe plus dans la poursuite de modèles d'entraînement avec des paramètres encore plus grands, mais dans la capacité à faire fonctionner des modèles déjà puissants à moindre coût et avec une vitesse accrue. Les barrières à la commercialisation des agents sont progressivement levées par le matériel, et nous assisterons bientôt à la transition vers des environnements commerciaux réels d'applications d'agents automatisés qui n'existaient jusqu'alors que dans les laboratoires. #Nvidia #AI_matériel #Agent