[Introduction] La vitesse d'inférence de GPT-5.6 atteint jusqu'à 750 tokens/seconde ! Un expert révèle l'information exclusive : il fonctionnera sur 100 plaquettes. L'IA passe de la réflexion à l'éclair, l'ère de l'intelligence en temps réel est-elle enfin arrivée ?
Selon diverses fuites, GPT-5.6 va bientôt être ouvert au grand public.
Récemment, diverses spéculations sur ce modèle ont fait le buzz sur X.
Le 26 juin, OpenAI a officiellement annoncé la toute nouvelle famille GPT-5.6.
Et dans le blog officiel, on trouve cette phrase : OpenAI prévoit de lancer ce mois-ci son tout nouveau modèle de pointe, GPT-5.6 Sol, sur le matériel personnalisé du géant des puces Cerebras, avec une vitesse d'inférence impressionnante de 750 tokens par seconde !
Autrement dit, les opérations complexes d'Agent qui nécessitaient autrefois plusieurs minutes d'attente peuvent désormais être effectuées en un clin d'œil.
Il est évident qu'OpenAI a déjà franchi une étape révolutionnaire en matière de conception conjointe matériel-modèle.
Ajoutant à cela la récente révélation de Jalapeño, la première puce d'inférence IA développée en interne de l'histoire, nous pouvons sentir que OpenAI a l'ambition de devenir un empire AI complet.
La vitesse triomphe de toutes les techniques : une réduction de dimension de 750 tokens/s
Qu'est-ce que cela signifie que 750 tokens par seconde ?
Pour un humain, cela équivaut à lire et produire environ 500 à 600 caractères chinois en une seconde.
Le texte que vous voyez devant vous, GPT-5.6 Sol ne met qu'une fraction de seconde pour le générer.
Sur X, le développeur renommé Caleb Shepherd a déclaré avec enthousiasme : « C’est la chose qui me rend le plus excité : GPT-5.6 Sol fonctionne sur Cerebras. Ce n’est pas seulement parce que la vitesse d’écriture du code a augmenté, mais parce que la vitesse d’utilisation des ordinateurs a connu une transformation qualitative. Nous n’aurons plus à attendre deux minutes en attendant que l’IA clique sur un bouton. »
Pendant longtemps, bien que les grands modèles soient devenus de plus en plus intelligents, la « latence d'inférence » reste le principal goulot d'étranglement pour le déploiement de tâches Agent à étapes multiples en interaction en temps réel.
Lorsque les modèles deviennent si grands qu'ils possèdent des milliers de milliards de paramètres, les clusters GPU traditionnels rencontrent souvent des goulets d'étranglement physiques sur la communication entre nœuds (interconnexion NVLink).
La réponse d'OpenAI est : ne faites pas s'adapter le modèle au matériel, faites en sorte que le matériel et le modèle ne fassent qu'un.
Selon les informations initiales divulguées officiellement, GPT-5.6 Sol sera disponible en juillet à une échelle extrêmement limitée pour des clients spécifiques, puis s'étendra progressivement à mesure que la capacité augmentera.
Comme on le supposait en ligne, il s'agit absolument d'un service extrêmement coûteux, conçu pour les entreprises de haut niveau prêtes à payer pour la vitesse.
Comment insérer un géant de 3 billions de paramètres dans une puce ?
Lorsqu'un message de 750 tokens/s a été diffusé, Peter Gostev, responsable de LLM Arena, a posé une question qui a intrigué tout le monde :
Qu'est-ce qui se passe réellement avec GPT-5.6 Sol sur Cerebras ? Selon mes informations, il s'agit apparemment du même modèle complet (avec des capacités multimodales incluant la vision), et non une version affaiblie comme GPT-5.3-Codex-Spark, qui avait été dépourvue de vision et de contexte.
Mais ma compréhension est que le puce unique de Cerebras ne peut accueillir qu’un modèle de 700 à 900 milliards de paramètres au maximum. Le modèle a-t-il été réduit ? Ou existe-t-il une nouvelle puce dont je ne suis pas au courant ? Ou bien une nouvelle technologie de coopération multi-puces ?
Cette question a immédiatement déclenché de nombreuses discussions en ligne.
Certains plaisantent en disant que tout le monde effectue une « audit de puces de niveau médico-légal à minuit », et ajoutent : « Si c’est vraiment le même modèle complet, c’est comme si quelqu’un avait forcé un super yacht dans une bouteille en verre, sans vous dire comment il a fait. »
Bientôt, l'expert technique chevronné Bleys Goodson a présenté une analyse technique extrêmement convaincante —
GPT-5.6 Sol n'est pas équipé d'une seule puce, mais traverse 70 à 100 puces de niveau wafer Cerebras !
Esthétique de déploiement extrême : « un wafer, un réseau »
Les experts du secteur estiment que les spécifications de GPT-5.6 Sol sont extrêmement importantes :
- Nombre total de paramètres : environ 3 billions
- Paramètres d'activation : environ 150 milliards
- Niveau du réseau : environ 70 à 90 couches
Pour obtenir des caractéristiques de service d'inférence optimales, OpenAI et Cerebras ont adopté une méthode de déploiement extrêmement luxueuse et impressionnante : déployer chaque couche du réseau neuronal sur une puce Cerebras entière.
Comme un internaute l'a souligné, en augmentant les étapes de la chaîne de traitement, vous pouvez théoriquement étendre le modèle à n'importe quelle taille, tant que vous avez suffisamment de wafers pour les relier ; cela n'affecte pas la vitesse de génération des tokens, mais pourrait légèrement influencer le temps jusqu'au premier token (TTFT).
Reconstruction architecturale audacieuse — le cache KV léger, imposé par la nécessité
Cependant, avoir simplement une quantité massive de wafers ne suffit pas. L'une des caractéristiques majeures de l'architecture des puces Cerebras est la présence d'une quantité massive de SRAM intégrée (mémoire statique aléatoire), extrêmement rapide, mais dont la capacité est extrêmement précieuse.
Si OpenAI utilisait, comme par le passé, un cache KV traditionnel et lourd dans GPT-5.6 Sol, cette bande passante SRAM coûteuse serait immédiatement saturée.
Cela conduit au changement stratégique le plus fondamental de cette collaboration : la reconstruction des modèles autour de matériel spécifique.
Bleys Goodson souligne que, puisque OpenAI est profondément impliqué dans la co-conception matérielle, ils ont très probablement abandonné les solutions traditionnelles de mise en cache des mécanismes d'attention au profit de conceptions plus avancées et légères.
Les scénarios les plus probables incluent :
Architecture similaire à DeepSeekV4 : optimisation extrême de l'utilisation du cache.
Conception hybride SSM : associer des modèles à complexité linéaire comme Mamba avec Transformer pour éliminer complètement le fardeau historique du KV Cache.
En outre, le développeur renommé John Lam a également avancé une hypothèse étonnante : le découplage de l'attention et du FFN.
Il suppose qu'OpenAI utilise probablement des GPU traditionnels pour traiter les calculs d'attention, tout en employant d'immenses plaquettes Cerebras pour pousser de force les calculs de la partie réseau de neurones à propagation avant.
Ce n'est absolument pas sans fondement. Les internautes ont rapidement découvert les détails de déploiement de Kimi K2.6 mentionnés précédemment par Cerebras sur son blog :
Cerebras stocke les poids originaux de Kimi K2.6 en 4 bits sur le système CS-3, tout en effectuant les calculs en virgule flottante 16 bits pour garantir la précision. Les poids sont répartis sur plusieurs wafers, et les activations sont transmises en flux entre les wafers. La communication entièrement interconnectée entre les couches repose entièrement sur la structure réseau intégrée au wafer, offrant une bande passante plus de 200 fois supérieure à celle du NVLink sur Nvidia NVL72 ! En combinant des opérateurs personnalisés et le décodage spéculatif, ils parviennent à exécuter des modèles MoE de mille milliards de paramètres à une vitesse proche de 1000 tokens/s.
Les spécifications officielles indiquent que le système révolutionnaire CS-3 n'est pas seulement extrêmement rapide, mais qu'il permet également d'escalader facilement des modèles jusqu'à 24 billions de paramètres sur un seul dispositif logique !
Comme quelqu'un l'a exclamé : « Si c'est vraiment la version complète de Sol fonctionnant sur Cerebras, alors le plafond supposé de la taille des modèles a été directement percé ce soir. »
La vraie carte maîtresse — OpenAI lance son premier puce développée en interne, « Jalapeño »
Et juste avant cela, OpenAI a officiellement lancé sa première puce conçue en interne — Jalapeño.
La sortie de ce puce explique directement la logique profonde derrière le partenariat entre OpenAI et Cerebras : à travers l'exploration de matériel de déduction de pointe tiers, OpenAI a complètement compris les points critiques et la valeur d'une architecture de déduction dédiée, et l'a transformée en une plateforme fondamentale sous son contrôle.
Jalapeño est l'une des variétés de piment mexicain les moins piquantes. En lui donnant ce nom, OpenAI indique clairement : ce n'est qu'un apéritif.
Ce puce est un ASIC personnalisé conçu pour l'inférence de grands modèles. Depuis le tracé de la première ligne, chaque transistor a été optimisé pour une seule chose : exécuter des grands modèles.
De manière surprenante, Jalapeño ne s'exécute pas seulement sur les modèles internes d'OpenAI, mais son architecture est également compatible avec les LLM de l'ensemble de l'industrie, révélant une grande ambition plattforme.
De plus, la conception et la fabrication de ce puce n'ont pris que neuf mois.
Derrière cela se trouve une alliance industrielle extrêmement puissante :
Architecture dirigée : OpenAI a conçu personnellement l'architecture de base.
Implémentation et interconnexion des puces : Le géant des puces Broadcom offre des capacités d’implémentation robustes et un soutien technique pour l’interconnexion réseau.
System integration: Celestica is responsible for final board manufacturing and rack-level physical integration.
Ingérer toute la chaîne de valeur, l'ambition de l'empire full-stack d'OpenAI
Former le modèle soi-même, concevoir les puces soi-même, optimiser l'inférence soi-même, contrôler le déploiement soi-même.
Il est évident que l'objectif d'OpenAI est un vaste empire d'IA full-stack.
Mais l'ambition d'OpenAI est encore plus folle que celle d'Apple et de Google : ils possèdent un super volant sans précédent — utiliser l'IA pour accélérer la construction d'infrastructures IA, puis utiliser ces infrastructures plus puissantes pour faire fonctionner des IA encore plus puissantes.
Selon la feuille de route publiée par OpenAI, les premiers supercentres de données de plusieurs GW seront déployés à partir de la fin 2026, en collaboration avec des partenaires clés tels que Microsoft.
La consommation électrique d'une ville de taille moyenne sera utilisée pour alimenter les baies d'inférence des puces Jalapeño et des prochaines générations de puces辣椒.
Préparez-vous, bientôt, nous assisterons à GPT-5.6 Sol fonçant sur une puce Cerebras à 750 tokens/s, brisant le sortilège physique des paramètres et de la vitesse d’inférence.
Références : https://x.com/bleysg/status/2073937651150029084
Cet article provient du compte WeChat « Nouvelle Intelligence », auteur : Apocalypses de l'ASI ; éditeur : Aeneas