世界で最も秘密主義で利益率の高いクオンツ取引企業の一つであるJane Streetが、AIインフラの取り組みを公開しました。6台のDellサーバーから始まったこの取り組みは、テキサス州に構築された専用データセンターに発展し、4,032台の液体冷却GPUを収容しています。
同社は、ハードウェアそのものよりもおそらくより興味深いものとして、「hive bucks」と呼ばれる内部オークションシステムを明らかにしました。このシステムは、チームがGPU計算時間のために互いに競り合うことを強制します。
6台のサーバーから4,032枚のGPUへ
ジェーン・ストリートのAIへの野心は、壮大なビジョンと無制限の予算から始まったわけではない。彼らの出発点は、6台のデルのサーバーだった。同社はその後、この控えめな出発を基に、AI研究とトレーディングモデル開発専用に設計された数千台のGPUが詰め込まれた、テキサスの専用施設へと変貌させた。
液体冷却システムは、空冷システムと比較して最大15％エネルギー効率が高く、水は空気よりもはるかに効果的に熱を伝達します。現代のラック規模の設計では、液体冷却により1ラックあたり最大256個のGPUをサポートでき、これはファンのみでは実現不可能な密度です。
コンピュートの内部経済
同社は「hive bucks」という仮想通貨を生成し、GPU使用時間の予算として内部チームに配布しました。チームはチケットシステムを通じて計算リソースをリクエストしたり、キューで待ったりするのではなく、同じハードウェアを必要とする他のチームと競い合い、リアルタイムのオークションで入札します。
システムはチームが真のトレードオフを迫ります。研究グループが投機的なトレーニングにヒブバックスを消費すると、次のプロジェクトに使えるリソースが減ります。これにより、どのAIイニシアチブが最も重要かを上層部が決定する必要なく、自然な優先順位付けが実現されます。