Jane Street, salah satu perusahaan perdagangan kuantitatif paling rahasia dan menguntungkan di dunia, telah membuka tirai perjalanannya dalam infrastruktur AI. Yang awalnya dimulai dengan enam server Dell kini berkembang menjadi pusat data khusus di Texas yang menampung 4.032 GPU dengan pendinginan cair.
Perusahaan tersebut juga mengungkapkan sesuatu yang bisa dibilang lebih menarik daripada perangkat keras itu sendiri: sistem lelang internal bernama “hive bucks” yang memaksa tim untuk bersaing satu sama lain untuk mendapatkan waktu komputasi GPU.
Dari enam server menjadi 4.032 GPU
Ambisi AI Jane Street tidak dimulai dengan visi besar dan cek kosong. Mereka memulainya dengan enam kotak Dell. Sejak itu, perusahaan telah mengubah awal yang sederhana tersebut menjadi fasilitas khusus di Texas yang dipenuhi ribuan GPU yang dirancang khusus untuk penelitian AI dan pengembangan model perdagangan.
Sistem pendingin cair dapat hingga 15% lebih efisien secara energi dibandingkan dengan versi pendingin udara, dan air mentransfer panas jauh lebih efektif daripada udara. Desain skala rak modern dapat mendukung hingga 256 GPU per rak dengan pendinginan cair, kepadatan yang tidak mungkin dicapai hanya dengan kipas.
Ekonomi internal komputasi
Perusahaan menciptakan "hive bucks," mata uang virtual yang didistribusikan ke tim internal sebagai anggaran untuk waktu GPU. Tim tidak hanya meminta komputasi melalui sistem tiket atau menunggu di antrian. Mereka menawar untuk itu dalam lelang langsung, bersaing dengan tim lain yang juga membutuhkan perangkat keras tersebut.
Sistem memaksa tim untuk membuat pilihan nyata. Jika kelompok penelitian menghabiskan hive bucks-nya untuk jalur pelatihan spekulatif, ia memiliki lebih sedikit sumber daya tersedia untuk proyek berikutnya. Ini menciptakan prioritas alami tanpa memerlukan keputusan manajemen top-down tentang inisiatif AI mana yang paling penting.