Les coûts de calcul pour l'IA devraient augmenter en raison de la demande croissante et des contraintes d'offre

Je veux essayer une approche minimaliste : me fixer 2 heures pour écrire rapidement un article de blog. Beaucoup de sous-problèmes importants ne me laissent pas le temps de les approfondir, mais sans cela, de nombreux sujets qui m’intéressent resteront en suspens, sans aucun progrès.

Aujourd'hui, je souhaite aborder la situation de la puissance de calcul des laboratoires d'IA au cours des prochaines années.

Les revenus d'Anthropic augmentent de dix fois par an. À ce rythme, les revenus d'Anthropic devraient probablement se situer entre 100 et 150 milliards de dollars d'ici la fin de cette année. Si cette tendance se poursuit, ils devront atteindre un chiffre d'affaires de 1 000 milliards de dollars d'ici la fin de l'année prochaine. Bien sûr, il n'existe aucune raison absolue pour que cette tendance se maintienne — cela dépend fondamentalement des capacités de l'IA. Mais supposons qu'elle se maintienne réellement : quelles conditions devraient alors être remplies dans ce monde ?

La puissance de calcul du laboratoire augmente de trois fois par an. Pour qu'un laboratoire atteigne une croissance des revenus de dix fois tout en n'ayant qu'une augmentation de la puissance de calcul de trois fois, au moins deux des trois éléments suivants doivent se produire simultanément : un, une amélioration de la marge bénéficiaire du laboratoire ; deux, une hausse du prix de la puissance de calcul ; trois, une part plus importante de la puissance de calcul du laboratoire utilisée pour l'inférence.

Je comprends que ces trois phénomènes se produisent essentiellement en parallèle : premièrement, la marge bénéficiaire d'Anthropic est passée de 40 % en 2025 à probablement plus de 80 % pour son activité d'inférence Fable cette année (bien que la marge sur les ressources marginales puisse être différente, comme je l'expliquerai plus tard) ; deuxièmement, le prix spot des ressources informatiques a augmenté de plus de 40 % depuis le creux de février de cette année, et le prix réellement payé par les laboratoires pourrait être encore plus élevé (je reviendrai sur ce point) ; troisièmement, selon les données d'Epoch, OpenAI a consacré environ un quart de ses dépenses en ressources informatiques à l'inférence en 2024, et ce pourcentage est désormais certainement proche de 50 %, voire supérieur.

Les laboratoires ne souhaitent pas vraiment emprunter la troisième voie (consacrer de plus en plus de puissance de calcul à l’inférence). Une blague résume bien la situation : le revenu généré par l’inférence sert à convaincre les investisseurs de vous accorder davantage de fonds pour acheter encore plus de puissance de calcul et entraîner des modèles plus grands. Si vous consacrez la majeure partie de votre puissance de calcul à l’inférence, vous déclarez en quelque sorte que l’avancement de l’IA est à l’arrêt — car il n’est plus rentable d’investir davantage dans l’entraînement, et votre activité devient essentiellement celle d’un fournisseur de services cloud. Les grands laboratoires ne partagent pas cet avis — ils estiment que les modèles qu’ils déployent aujourd’hui sembleront très obsolètes dans un an, et qu’ils exercent cette activité actuelle pour accumuler des cas d’usage commerciaux, afin de soutenir la poursuite de l’entraînement de modèles encore plus intelligents.

Il reste donc deux options : une, augmenter la marge bénéficiaire des laboratoires ; deux, rendre la puissance de calcul plus chère. Si les deux ou trois premiers laboratoires devancent largement leurs concurrents, la première option sera plus marquée. Sur le marché, la marge bénéficiaire dépend de la différence entre votre solution et la suivante la plus optimale. Pour que le premier effet domine, la marge bénéficiaire devra atteindre plus de 90 % d’ici la fin de l’année prochaine. Cela me semble assez absurde. Mais je pense effectivement qu’il est possible que les revenus des laboratoires d’IA continuent à croître à un rythme étonnant.

Ainsi, pour expliquer comment le monde peut devenir réel où les revenus explosent jusqu’à 1 billion de dollars d’ici la fin de l’année prochaine, il reste un dernier effet : une hausse spectaculaire des prix de la puissance de calcul. Comme je l’ai dit, cela a déjà commencé. Si nous examinons le niveau de puissance de calcul réellement requis par les laboratoires, la hausse des prix sera encore plus frappante — ils ne peuvent évidemment pas compter sur des instances spot ; ils doivent garantir la sécurité des poids des modèles et des données des utilisateurs, tout en disposant d’une échelle suffisante pour obtenir une bonne utilisation et une flexibilité optimale. Voici à quel point ce marché est fou : Google et Anthropic louent de la puissance de calcul à SpaceX. Selon les rapports, Google dépense 900 millions de dollars par mois pour louer 110 000 GPU, un mélange de GB200 et GB300. Cela équivaut à environ deux fois le prix spot de ces GPU. Or, le prix spot actuel est déjà 40 % plus élevé qu’en février.

Je souhaite souligner une conclusion fondamentale : à mesure que les modèles d'IA deviennent de plus en plus puissants, la valeur générée par la même quantité de puissance de calcul augmente également. Si un ingénieur logiciel véritablement à niveau humain pouvait fonctionner sur un appareil de la catégorie H100, selon les salaires du marché actuel pour les ingénieurs logiciels, le loyer annuel de cette H100 devrait dépasser 250 000 dollars américains — soit 15 fois le prix spot actuel.

Bien sûr, si soudainement 10 millions d'ingénieurs logiciels supplémentaires apparaissaient, la valeur marginale des ingénieurs diminuerait naturellement, donc ce H100 ne produirait peut-être pas réellement 15 fois le chiffre d'affaires actuel. Mais je ne suis pas certain que ce raisonnement soit valable. Si l'on applique cet argument aux humains plutôt qu'à l'IA, il s'agit du classique « paradoxe de la masse salariale ». Les économistes considèrent généralement que les immigrants hautement qualifiés n'abaissent pas les salaires à long terme, car la spécialisation et l'innovation augmentent la valeur de la main-d'œuvre. Peut-être que ce choc d'offre de main-d'œuvre est trop important et trop rapide pour que cette règle empirique s'applique. Mais si l'on admet le jugement standard de l'économie sur le travail, alors la valeur marginale de la main-d'œuvre (ainsi que le prix marginal de la puissance de calcul) devrait rester à un niveau étonnamment élevé.

Que se passera-t-il dans ce monde ?

Les modèles de pointe deviennent de plus en plus capables d'extraire de la valeur à partir de la puissance de calcul, ce qui rend la course de plus en plus difficile. Si, d'ici 2028, le génie logiciel est entièrement automatisé et que le coût de la puissance de calcul est 15 fois supérieur à aujourd'hui, il sera extrêmement difficile de concurrencer les laboratoires de pointe pour accéder à la puissance de calcul sans revenus.

Si vous parvenez à entraîner le modèle le plus performant et le plus efficace, votre marge bénéficiaire sera bien supérieure à ce qu'elle est aujourd'hui. C'est l'effet Alchian-Allen : lorsqu'un coût fixe est ajouté à deux biens de qualité différente, le bien de meilleure qualité devient relativement plus avantageux, ce qui fait dévier la demande en sa faveur. Lorsque le prix de l’H100 atteint 20 $ l’heure, utiliser un modèle plus faible et moins efficace devient extrêmement coûteux et absurde — car vous devez consommer davantage de tokens et utiliser davantage de puissance de calcul coûteuse pour obtenir le même résultat. Ainsi, celui qui parvient à entraîner un modèle de pointe plus économe en puissance de calcul peut appliquer une prime très élevée. Puisque la puissance de calcul sous-jacente coûte déjà autant, pourquoi ne pas dépenser un peu plus pour utiliser le modèle le plus efficace qui fonctionne sur la même puissance de calcul ?

De nombreuses applications AI populaires aujourd'hui seront éliminées par les coûts. L'IA est actuellement relativement bon marché, du moins moins chère que la main-d'œuvre humaine, en partie parce qu'elle ne peut pas encore accomplir beaucoup de choses que les meilleurs humains peuvent faire. Un jour, ce ne sera plus le cas. À ce moment-là, produire du contenu vidéo court de mauvaise qualité à l'aide de GPU coûtera trop cher pour en valoir la peine.

Cependant, ce type de prévision présente des similitudes avec les erreurs passées de prédiction de la rareté. Je pense au pari Simon-Ehrlich : Paul Ehrlich a parié que, dans la décennie précédant 1990, le prix d’un panier de matières premières augmenterait plutôt que de diminuer. Ce pari est célèbre dans les débats d’économie populaire, car il aurait démontré que la vision malthusienne d’Ehrlich était réfutée — il aurait sous-estimé le rôle des signaux du marché et de l’intelligence humaine dans l’économie des ressources rares (bien que certaines analyses soulignent qu’Ehrlich aurait gagné si le pari avait porté sur une autre décennie).

Je suppose que le référentiel des matières premières ne convient pas à la puissance de calcul, car l'offre de puissance de calcul est beaucoup moins élastique que l'extraction métallique et bien moins capable d'absorber des chocs de demande massifs ou de trouver des solutions de remplacement. La croissance annuelle de la puissance de calcul à hauteur de 3 fois résulte du produit de trois facteurs : un facteur de 1,4 issu de la loi de Moore, un facteur de 1,2 dû à la construction de nouvelles usines de puces (limité jusqu'en 2030 par la disponibilité des équipements EUV), et un facteur de 1,8 provenant de la prise de quotas de wafers avancés par l'IA aux dépens d'autres appareils (ce dernier facteur atteindra un plafond vers 2027, lorsque la part de l'IA dans les wafers N3 passera de 60 % à 86 %). Aucun de ces trois facteurs ne peut facilement être augmenté davantage, et le dernier atteindra même son pic dans un ou deux ans avec la saturation des quotas de wafers.

Je veux souligner qu'à un moment donné dans le futur, la puissance de calcul deviendra à nouveau moins chère. Un jour, les robots pourront transformer directement le sable de silice des plages et les gisements de cuivre souterrains en ordinateurs, et à ce moment-là, le prix de la puissance de calcul devrait retomber à un niveau proche des coûts des matières premières et des outils. Ce que je discute actuellement, c'est simplement cette phase-ci — la puissance de calcul pour l'IA ne croît que de 3 fois par an, un rythme qui ne suit absolument pas l'effet de pression à la hausse sur les prix engendré par la croissance annuelle de la valeur de l'IA.

Au passage, les revenus d'Anthropic augmentent de 10 fois par an, tandis que la puissance de calcul ne croît que de 3 fois, ce qui indique que le modèle économique des modèles présente une économie d'échelle très forte. Logiquement, cela a du sens — lorsqu'on entraîne un modèle, vous supportez un coût d'apprentissage unique qui peut ensuite être réparti entre tous les utilisateurs (contrairement au travail humain, où chaque instance doit être formée depuis le début). Je ne souhaite pas vivre dans un monde où l'intelligence présente une telle économie d'échelle (car je crains une concentration du pouvoir). Mais la réalité semble être exactement celle-là.

Auteur : Dwarkesh Patel ; Traduction : Deep潮 TechFlow