Jane Street, salah satu syarikat dagangan kuantitatif paling rahsia dan menguntungkan di dunia, telah membongkar perjalanan infrastruktur AI-nya. Bermula dengan enam pelayan Dell, kini ia telah berkembang menjadi pusat data yang direka khas di Texas yang menampung 4.032 GPU yang didinginkan cecair.
Syarikat tersebut juga mengungkapkan sesuatu yang mungkin lebih menarik daripada peranti keras itu sendiri: sistem lelong dalaman bernama “hive bucks” yang memaksa pasukan bersaing menawar untuk masa pengiraan GPU.
Dari enam pelayan kepada 4.032 GPU
Ambisi AI Jane Street tidak bermula dengan visi besar dan cek kosong. Ia bermula dengan enam kotak Dell. Syarikat ini seterusnya telah mengubah permulaan sederhana itu menjadi fasiliti Texas yang khusus dipenuhi dengan ribuan GPU yang direka khas untuk penyelidikan AI dan pembangunan model perdagangan.
Sistem penyejukan cecair boleh menjadi sehingga 15% lebih cekap tenaga berbanding rakan sepadan yang disejukkan dengan udara, dan air memindahkan haba dengan lebih berkesan berbanding udara. Reka bentuk berskala rak moden boleh menyokong sehingga 256 GPU setiap rak dengan penyejukan cecair, kepadatan yang tidak mungkin dicapai dengan kipas sahaja.
Ekonomi dalaman komputasi
Syarikat tersebut mencipta “hive bucks”, satu mata wang maya yang diedarkan kepada pasukan dalaman sebagai bajet untuk masa GPU. Pasukan tidak sekadar meminta pengiraan melalui sistem tiket atau menunggu dalam antrean. Mereka menawar untuknya dalam pelelangan langsung, bersaing dengan pasukan lain yang juga memerlukan peralatan tersebut.
Sistem memaksa pasukan untuk membuat pilihan sebenar. Jika satu kumpulan penyelidikan menghabiskan semua hive bucksnya pada satu latihan spekulatif, ia mempunyai sumber yang lebih sedikit untuk projek seterusnya. Ini mencipta pengutamaan semula tanpa memerlukan keputusan pengurusan atas ke bawah mengenai inisiatif AI mana yang paling penting.