AMD lance la plateforme de programmation locale Instinct Coder 355, avec 8 unités MI355X permettant une performance locale atteignant 98 % de celle des modèles de pointe pour l'inférence, sans connexion Internet par défaut et les données restent locales.Auteur et source de l'article : AIBase
Ramener les grands modèles du cloud vers les salles serveurs, AMD cible cette fois les développeurs d'entreprises. Le 9 novembre, heure locale, AMD a collaboré avec Spectro Cloud pour lancer Instinct Coder 355, une plateforme d'assistance à la programmation AI pour les entreprises, capable d'exécuter localement l'inférence de GLM-5.3 et affichant selon les dires 98 % des performances des modèles de pointe.
Huit cartes soutiennent un serveur de programmation
La force de ce système réside dans ses composants haut de gamme : il est équipé de 8 accélérateurs AMD Instinct MI355X, de deux processeurs EPYC 9575F "Zen 5" à 64 cœurs, de 3 To de mémoire DDR5-6400 et de 63,36 To de stockage SSD au total. Dell et Supermicro proposent des versions complètes avec différentes configurations, permettant aux entreprises de choisir selon leurs habitudes d'infrastructure. Un seul nœud peut servir jusqu'à 85 développeurs, dont 50 peuvent coder simultanément, regroupant ainsi les besoins en puissance de calcul d'une petite équipe dans un seul boîtier.
Par défaut, pas de connexion au cloud, les données restent locales
Ce qui séduit vraiment les entreprises, c’est la fonctionnalité « pas besoin de sortir ». Spectro Cloud a doté ce système d’un logiciel de gestion appelé PaletteAI Inference Launchpad, qui appelle par défaut les ressources locales plutôt que les API cloud, évitant ainsi l’envoi de code ou de données sensibles à l’extérieur. Sous la pression conjointe des coûts et de la conformité, déplacer l’inférence vers les propres datacenters devient une nouvelle voie privilégiée par les grands groupes — cette manœuvre d’AMD vise clairement à prendre une part du marché aux dépens de NVIDIA et des fournisseurs de cloud.