Jane Street, uma das empresas de negociação quantitativa mais secretas e lucrativas do planeta, revelou sua jornada na infraestrutura de IA. O que começou com seis servidores Dell cresceu para um data center projetado especificamente no Texas, com 4.032 GPUs com refrigeração líquida.
A empresa também revelou algo considerado ainda mais interessante do que o próprio hardware: um sistema interno de leilão chamado “hive bucks” que obriga as equipes a licitarem entre si por tempo de processamento GPU.
De seis servidores para 4.032 GPUs
As ambições de IA da Jane Street não começaram com uma grande visão e um cheque em branco. Elas começaram com seis caixas Dell. A empresa transformou esse início modesto em uma instalação dedicada no Texas repleta de milhares de GPUs projetadas especificamente para pesquisa em IA e desenvolvimento de modelos de negociação.
Sistemas de refrigeração líquida podem ser até 15% mais eficientes energeticamente do que suas contrapartes refrigeradas por ar, e a água transfere calor muito mais eficazmente do que o ar. Projetos modernos em escala de rack podem suportar até 256 GPUs por rack com refrigeração líquida, uma densidade que seria impossível apenas com ventiladores.
A economia interna de computação
A empresa criou “hive bucks”, uma moeda virtual distribuída às equipes internas como orçamento para tempo de GPU. As equipes não apenas solicitam computação por meio de um sistema de chamados ou aguardam em uma fila. Elas licitam por ela em um leilão ao vivo, competindo contra outras equipes que também precisam do hardware.
O sistema obriga as equipes a fazer escolhas reais. Se um grupo de pesquisa gastar todos os seus hive bucks em uma execução de treinamento especulativa, terá menos recursos disponíveis para o próximo projeto. Isso cria uma priorização natural sem exigir decisões gerenciais top-down sobre qual iniciativa de IA é mais importante.