Jane Street, l'une des entreprises de gestion quantitative les plus secrètes et rentables au monde, a révélé son parcours vers son infrastructure d'IA. Ce qui a commencé avec six serveurs Dell s'est transformé en un centre de données sur mesure au Texas abritant 4 032 GPU refroidis par liquide.
L'entreprise a également révélé quelque chose d'encore plus intéressant que le matériel lui-même : un système de vente aux enchères interne appelé « hive bucks » qui oblige les équipes à s'opposer dans des enchères pour obtenir du temps de calcul GPU.
De six serveurs à 4 032 GPU
Les ambitions d'IA de Jane Street n'ont pas commencé par une grande vision et un chèque en blanc. Elles ont commencé avec six boîtiers Dell. L'entreprise a depuis transformé ce début modeste en une installation dédiée au Texas regorgeant de milliers de GPU conçus spécifiquement pour la recherche en IA et le développement de modèles de trading.
Les systèmes de refroidissement liquide peuvent être jusqu'à 15 % plus économes en énergie que leurs homologues refroidis par air, et l'eau transfère la chaleur bien plus efficacement que l'air. Les conceptions modernes à échelle de baie peuvent supporter jusqu'à 256 GPU par baie avec un refroidissement liquide, une densité impossible à atteindre avec uniquement des ventilateurs.
L'économie interne du calcul
L'entreprise a créé des « hive bucks », une monnaie virtuelle distribuée aux équipes internes comme budget pour le temps GPU. Les équipes ne se contentent pas de demander de la puissance de calcul via un système de tickets ou d'attendre dans une file d'attente. Elles enchérissent dessus lors d'une enchère en direct, en compétition avec d'autres équipes ayant également besoin du matériel.
Le système oblige les équipes à faire des compromis réels. Si un groupe de recherche dépense ses hive bucks sur une séance d'entraînement spéculative, il dispose de moins de ressources pour le projet suivant. Cela crée une priorisation naturelle sans nécessiter de décisions de gestion verticale sur quelle initiative d'IA est la plus importante.