Jane Street, una de las firmas de trading cuantitativo más secretas y rentables del planeta, ha revelado su trayectoria en la infraestructura de IA. Lo que comenzó con seis servidores Dell ha crecido hasta convertirse en un centro de datos diseñado específicamente en Texas que alberga 4.032 GPUs con refrigeración líquida.
La empresa también reveló algo posiblemente más interesante que el propio hardware: un sistema de subasta interno llamado “hive bucks” que obliga a los equipos a pujar entre sí por tiempo de cómputo GPU.
De seis servidores a 4.032 GPUs
Las ambiciones de IA de Jane Street no comenzaron con una gran visión y un cheque en blanco. Comenzaron con seis equipos Dell. La empresa ha transformado ese humilde comienzo en una instalación dedicada en Texas llena de miles de GPUs diseñadas específicamente para la investigación de IA y el desarrollo de modelos de trading.
Los sistemas de refrigeración líquida pueden ser hasta un 15% más eficientes energéticamente que sus contrapartes con refrigeración por aire, y el agua transfiere el calor mucho más eficazmente que el aire. Los diseños modernos a escala de bastidor pueden soportar hasta 256 GPUs por bastidor con refrigeración líquida, una densidad que sería imposible con solo ventiladores.
La economía interna de la computación
La empresa creó “hive bucks”, una moneda virtual distribuida a los equipos internos como presupuesto para tiempo de GPU. Los equipos no solo solicitan cómputo a través de un sistema de tickets o esperan en una cola. Participan en una subasta en vivo, compitiendo contra otros equipos que también necesitan el hardware.
El sistema obliga a los equipos a realizar verdaderas elecciones. Si un grupo de investigación gasta sus hive bucks en una sesión de entrenamiento especulativa, tiene menos recursos disponibles para el próximo proyecto. Esto crea una priorización natural sin necesidad de decisiones de gestión jerárquica sobre qué iniciativa de IA es más importante.