KIMI K3 vs OPENAI / ANTHROPIC KIMI est décevamment lent. Je vais expliquer pourquoi — et quelles actions en bénéficieront — car devinez quoi : Kimi, DeepSeek, etc., sont sur le point de devenir BEAUCOUP plus performants. Voici la différence clé : Kimi K3 est un « mélange extrême d’experts ». C’est un modèle de 2,8 billions de paramètres (presque aussi grand que Claude), mais pour chaque token, il active seulement 16 de ses 896 experts — soit environ 104 milliards de paramètres. Il « joue » donc sur une tranche beaucoup plus petite (mais espérons-le tout aussi précise) du modèle. Ces 896 experts sont répartis sur de nombreuses GPU. Et chaque token peut appeler un ensemble différent de 16 — ce qui oblige les GPU à échanger constamment des morceaux de la réponse. Cela sollicite fortement les interconnexions. Supposons maintenant que les modèles fermés — Claude, GPT — fonctionnent en mode dense ou presque dense. Un modèle dense sait exactement où se trouvent ses poids. Les données circulent à travers les mêmes GPU, dans le même ordre, à chaque requête, tout planifié à l’avance. Claude paie cela avec davantage de puissance brute par token — mais il touche à peine les câbles lents entre les machines. CECI EST LE GOULOT D’ÉTRANGLEMENT DE KIMI. Et pour les milliers d’entreprises qui adopteront Kimi parce qu’il est moins cher. Les câbles entre machines sont la partie lente. À l’intérieur d’une GPU, les données se déplacent aujourd’hui à environ 8 To/s. Entre les GPU, cela peut descendre jusqu’à 0,1 To/s — soit environ 1 % de la vitesse. C’est comme si Kimi roulait en Ferrari mais devait s’arrêter et prendre un vélo tous les kilomètres environ — tandis que Claude roule en une seule voiture sur une autoroute tout du long. C’est une grande partie de la raison pour laquelle Kimi K3 semble lent sur la plupart des fournisseurs actuellement, tandis que Claude semble instantané. L’architecture de Kimi est sans doute plus intelligente par dollar de calcul, mais ses échanges traversent les liens les plus lents du centre de données. C’est pourquoi les interconnexions SONT LE MARCHÉ sous-jacent à toute l’histoire des modèles ouverts : à mesure que les interconnexions s’améliorent, les modèles ouverts extrêmement épars sont ceux qui en bénéficient le plus. Réparer la tuyauterie permettra aux modèles ouverts de dépasser les modèles fermés. La « tuyauterie » pendant 40 ans a été les CPU. Puis les GPU. Maintenant… les interconnexions. Qui est en course : $CRDO — le leader des interconnexions électriques à base de cuivre (câbles électriques actifs). La technologie dominante, et celle qui atteint en premier ses limites physiques. Mais le cuivre atteint aussi ses limites. Trop lent. $NVDA — vient d’investir 2 milliards de dollars chacun dans $COHR et $LITE pour sécuriser des interconnexions optiques à laser. $MRVL — a mené le dernier tour de financement de Mojo Vision en privé et développe conjointement avec elle des interconnexions optiques basées sur les MicroLED. Lisez cela encore une fois : Marvell mise sur les MicroLED. Mais aucun produit. Aucune MicroLED. Avicena — privée, bien financée, a démontré des liens MicroLED mais rien encore mis à l’échelle. Ensuite, il y a $FABC, le pari à plus haut rendement selon moi — et je suis actionnaire — qui développe conjointement avec $KOPN une interconnexion MicroLED haute vitesse et économe en énergie (Neural I/o). Avantage majeur : KOPN possède des années d’expérience en fabrication de MicroLED, y compris pour l’armée — et $FABC détiendra la propriété intellectuelle sur ces interconnexions avec $KOPN. L’entreprise affirme viser une démonstration de la plateforme d’ici la fin de 2026. Le signe que les interconnexions MicroLED sont réelles : Marvell, une entreprise de plus de 172 milliards de dollars, vient de faire le même pari, et Jensen Huang a déclaré : « MRVL est la prochaine entreprise d’un billion de dollars. » Kimi est douloureusement lent aujourd’hui. Ce n’est pas un problème de modèle (!) — c’est un problème de tuyauterie. Et c’est dans la tuyauterie que l’argent va désormais.
James AltucherPartager
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations.
Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.