GPT-6 avec 10 billions de paramètres, à venir ce mois-ci !
Viennent de sortir des nouvelles étonnantes provenant de X.
L'investigatrice IA ChrisGPT révèle que, malgré la pression de la censure gouvernementale, GPT-6 (Astra) sera lancé en août.
GPT-6, c'est le modèle Astra que OpenAI a suspendu d'urgence hier.
Il y a neuf mois, OpenAI a commencé à intensifier ses efforts en réallouant des ressources de calcul. Réalisant qu'Anthropic avait une avance en pré-entraînement, OpenAI s'est précipitée !
On estime que GPT-4 possède environ 1,8 billion de paramètres. Si les paramètres d'Astra sont réellement de 10 billions, cela représente plus de cinq fois ceux de GPT-4.
In any case, OpenAI has invested an unprecedented scale in pre-training.
Ne vous inquiétez pas, d'autres experts suivent.
Le deuxième révélé par ChrisGPT est la « créature épopée » de fin d'année codée Doug.
Ce n'est pas seulement le plus grand modèle de pré-entraînement d'OpenAI à ce jour, mais il est également dit que cela rend Fable semblable à un produit primitif.
Et ce n'est pas le GPT-6.
Mais ce modèle doit d'abord être pré-entraîné, puis soumis à de nombreux tests de cybersécurité, donc il sera probablement publié au plus tard en novembre.
Par coïncidence, récemment, le président d'OpenAI, Greg, a partagé un message sur X—
GPT-4 a été formé le 8 août il y a quatre ans.
L'industrie supposait que les paramètres de GPT-4 s'élevaient à 1,8 billion ; quatre ans plus tard, les paramètres de GPT-6 ont atteint dix billions, accomplissant une progression terrifiante d'un ordre de grandeur !
On peut supposer que GPT-6 affichera des capacités de raisonnement logique et de généralisation inimaginables.
Le géant final de fin d'année Doug :
Comparer Fable 5 à des « hommes des cavernes »
Le nom Doug n'a pas seulement été révélé par ChrisGPT, mais a également été mentionné précédemment par l'organisme connu SemiAnalysis.
Selon les fuites, la base de puissance de calcul de Doug est extrêmement luxueuse.
L'influenceur de pointe Pankaj Kumar indique que Doug a probablement été formé sur la prochaine génération de puces Vera Rubin d'NVIDIA, encore non largement déployées !
Dans l'ensemble, OpenAI joue un grand jeu.
En août, lancez d'abord le GPT-6 avec 10 billions pour faire sensation et capter les utilisateurs ; puis, avant la fin de l'année, sortez Doug, ce géant, pour remporter la première place absolue.
Tibo, qui bat actuellement Boris, a également annoncé une surprise
Août, le combat de l'ASI
En juillet 2026, plusieurs sources ont révélé que le prochain modèle d'OpenAI adoptera une nouvelle base de pré-entraînement (dépassant les environ 4 T de jetons du « Spud » précédent), avec une taille d'environ 10 T et un contexte pouvant atteindre 1,5 M de jetons, en comparaison avec Mythos/Fable d'Anthropic.
La situation est claire maintenant : la date de publication d'Astra a été repoussée en raison d'une suspension de sécurité, mais Anthropic n'a pas l'intention d'attendre.
Anthropic prépare le lancement de Fable 5.1 en août, au même prix que Fable 5, en confrontation directe avec Astra.
Anthropic utilise probablement la tactique du « match de courses de chevaux de Tian Ji » : Opus 5 a été délibérément publié en retenant ses forces, afin de réserver Fable 5.1 comme force de réserve, prête à réagir immédiatement dès le lancement de GPT-6.
Qui deviendra le roi des grands modèles ? Cette question est devenue sans précédent aussi brûlante en août.
Briser le mur de la pré-formation : OpenAI contre-attaque
Pourquoi Doug est-il si important ?
Parce qu'il pointe une réalité que toute l'industrie omet de reconnaître : depuis le lancement de GPT-4o en mai 2024, OpenAI n'a pas terminé l'entraînement à grande échelle d'un modèle de pointe de nouvelle génération pendant plus de deux ans.
o1, o3, GPT-5 à GPT-5.5 sont tous des post-entraînements, apprentissage par renforcement et calculs d'inférence basés sur la plateforme de GPT-4o. Le « moteur » de GPT n'a pas été remplacé depuis deux ans.
En raison de graves goulets d'étranglement lors de la pré-formation, des projets tels qu'Orion ont été déclassés en raison de performances inférieures aux attentes.
Mais ! OpenAI n'a jamais abandonné la ligne directrice fondamentale du pré-entraînement.
Gemini 3, publié à la fin de l'année dernière, a décidé Otto à changer de « moteur ».
Ensuite, le nouveau modèle pré-entraîné codé « Garlic » est apparu. Selon Mark Chen, chef de la recherche, l'entreprise aurait résolu les problèmes clés du pré-entraînement.
Mais Garlic ressemble davantage à une expérience de validation, tandis que Doug est le véritable produit obtenu après une mise à plus grande échelle.
Ils ont probablement surmonté le goulot d'étranglement de la dégradation des performances et assuré la stabilité des clusters de dix mille, voire cent mille GPU, ce qui a conduit à la naissance de Doug.
Depuis longtemps, SemiAnalysis insiste sur le fait que les lois d'échelle restent valables.
Preuve de la série o1 : le modèle peut être mis à l'échelle continuellement pendant le temps d'inférence.
Et Doug, de retour en force, déclare : sur la dimension de base de l'« pré-entraînement », tant que la puissance de calcul et les données suivent, les lois d'échelle peuvent encore créer des miracles !
Les trois grands ne sont plus que deux
Aujourd'hui, il ne reste plus que deux des trois grands.
Le 5 août, un pan de la carte de l'IA de Google s'est effondré.
Le scientifique en chef Jeff Dean, qui a travaillé pendant 27 ans, a quitté l'entreprise pour créer sa propre start-up avec trois chercheurs principaux. Le même jour, Demis Hassabis, lauréat du prix Nobel, a cessé ses fonctions de PDG de DeepMind pour devenir président du conseil. Le cours d'Alphabet a chuté de plus de 4 % ce jour-là.
DeepMind n'est plus un laboratoire de pointe. L'endroit où le Transformer a été inventé fournit désormais des chercheurs de premier plan à ses concurrents.
Il y a peu, la Silicon Valley comptait les trois géants de l'ASI ; aujourd'hui, il ne reste plus que OpenAI et Anthropic.
Actuellement, Anthropic détient Fable 5. OpenAI détient les itérations consécutives 5.5, 5.6, ainsi que la prochaine 6.
Actuellement, OpenAI détient deux atouts : Astra en août et Doug à la fin de l'année.
Au cours des deux dernières années, OpenAI a démontré que le vieux moteur pouvait encore produire beaucoup de puissance. Lorsque le moteur sera remplacé, ce système déjà poussé à ses limites pourra-t-il encore accélérer la voiture jusqu’à quelle vitesse ?
La réponse de Doug à la fin de l'année sera bientôt révélée.
Références :
https://x.com/ChrisGPT/status/2086220662264250764
https://newsletter.semianalysis.com/p/gemini-is-cooked-but-gcp-is-cooking
Cet article provient du compte WeChat « Nouvelle Intelligence », auteur : Apocalypses de l'ASI, éditeur : Aeneas Salomon