Jane Street 是全球最隱密且最盈利的量化交易公司之一,如今已揭開其 AI 基礎設施的發展歷程。該公司最初僅使用六台戴爾伺服器,如今已擴建為一座專為其打造的德克薩斯州數據中心,內含 4,032 台液冷 GPU。
該公司還透露了一個比硬體本身更具吸引力的內部機制:稱為「hive bucks」的內部拍賣系統,迫使各團隊競標 GPU 計算時間。
從六台伺服器增至 4,032 塊 GPU
Jane Street 的 AI 愿景並非始於宏大的構想與無限預算,而是從六台戴爾伺服器開始。如今,該公司已將這項樸實的起步,轉化為一座專門的德克薩斯設施,內含數千顆專為 AI 研究與交易模型開發設計的 GPU。
液冷系統的能源效率可比風冷系統高出最多 15%,而水傳導熱量的效率遠高於空氣。現代機架級設計搭配液冷技術,每個機架最多可支援 256 個 GPU,這種密度僅靠風扇是無法實現的。
計算的內部經濟
公司創建了「hive bucks」這一種虛擬貨幣,作為內部團隊使用 GPU 時間的預算。團隊不僅僅是透過票務系統提出請求或等待排隊,而是透過即時拍賣競標,與其他也需要該硬體的團隊競爭。
系統強制團隊做出真實的取捨。如果一個研究團隊將其蜂幣耗盡於一項具投機性的訓練運行,則用於下一個項目的資源就會減少。這在無需高層管理決策哪個 AI 計畫最重要的情況下,自然形成了優先順序。
