Si Jane Street, isa sa mga pinakamakapal at pinakapagkakitaan na mga kumpanya ng quantitative trading sa mundo, ay nagbukas ng kurtina sa kanilang paglalakbay sa AI infrastructure. Nagsimula ito sa anim na Dell servers at lumaki sa isang purpose-built na data center sa Texas na naglalaman ng 4,032 na liquid-cooled GPUs.
Inilantad din ng kumpanya ang isang bagay na mas interesante kaysa sa hardware mismo: isang panloob na sistema ng pag-auction na tinatawag na “hive bucks” na nagpapilit sa mga koponan na magbids laban sa isa’t isa para sa GPU compute time.
Mula sa anim na server patungo sa 4,032 na GPUs
Hindi nagsimula ang mga pangarap ni Jane Street sa AI sa isang malaking pananaw at isang walang hanggang check. Nagsimula ito sa anim na Dell boxes. Noong panahong iyon, isinapuso ng kumpanya ang simpleng simula sa isang espesyal na facility sa Texas na puno ng libu-libong GPU na disenyo para sa AI research at pag-unlad ng mga trading model.
Ang mga sistema ng liquid cooling ay maaaring 15% mas epektibo sa enerhiya kaysa sa kanilang air-cooled na katumbas, at ang tubig ay nagdadala ng init nang mas epektibo kaysa sa hangin. Ang mga modernong rack-scale na disenyo ay maaaring suportahan ang hanggang 256 GPUs bawat rack gamit ang liquid cooling, isang density na imposible na maabot lamang sa pamamagitan ng mga pagsikat.
Ang panloob na ekonomiya ng compute
Nilikha ng kumpanya ang “hive bucks,” isang virtual na pera na ibinibigay sa mga loob na koponan bilang budget para sa GPU time. Hindi lamang humihingi ang mga koponan ng compute sa pamamagitan ng isang ticket system o umaasang sa isang queue. Sila ay umaaway para dito sa isang live na auksiyon, kumikita laban sa iba pang mga koponan na kailangan din ng hardware.
Pinipilit ng sistema ang mga koponan na gumawa ng tunay na pagpili. Kung ang isang grupo ng pananaliksik ay gumagamit ng lahat ng kanilang hive bucks sa isang spekulatibong pagtuturuan, mas kaunti ang mga mapagkukunan na available para sa susunod na proyekto. Ito ay naglilikha ng natural na pagpaprioritize nang walang kailangan ng mga desisyon mula sa itaas tungkol sa aling AI na inisyatiba ang pinakamahalaga.