Jane Street, một trong những công ty giao dịch định lượng bí ẩn và sinh lời nhất trên thế giới, đã hé lộ hành trình xây dựng cơ sở hạ tầng AI của mình. Từ khởi đầu với sáu máy chủ Dell, công ty đã phát triển thành một trung tâm dữ liệu được thiết kế riêng tại Texas, chứa 4.032 GPU làm mát bằng chất lỏng.
Công ty cũng tiết lộ một điều có lẽ thú vị hơn chính phần cứng: một hệ thống đấu giá nội bộ gọi là “hive bucks” buộc các đội phải đấu thầu lẫn nhau để giành thời gian tính toán GPU.
Từ sáu máy chủ lên 4.032 GPU
Mục tiêu AI của Jane Street không bắt đầu bằng một tầm nhìn lớn và một khoản ngân sách không giới hạn. Họ bắt đầu với sáu chiếc máy Dell. Kể từ đó, công ty đã biến khởi đầu khiêm tốn đó thành một cơ sở tại Texas chuyên dụng, được trang bị hàng ngàn GPU được thiết kế đặc biệt cho nghiên cứu AI và phát triển mô hình giao dịch.
Các hệ thống làm mát bằng chất lỏng có thể hiệu quả về năng lượng cao hơn tới 15% so với các hệ thống làm mát bằng không khí, và nước chuyển nhiệt hiệu quả hơn nhiều so với không khí. Các thiết kế quy mô kệ hiện đại có thể hỗ trợ lên đến 256 GPU mỗi kệ với làm mát bằng chất lỏng, mật độ mà sẽ là không thể nếu chỉ sử dụng quạt.
Nền kinh tế nội bộ của tính toán
Công ty đã tạo ra “hive bucks,” một loại tiền ảo được phân phối cho các nhóm nội bộ như ngân sách cho thời gian GPU. Các nhóm không chỉ yêu cầu tính toán thông qua hệ thống vé hay chờ trong hàng đợi. Họ đấu giá cho nó trong một phiên đấu giá trực tiếp, cạnh tranh với các nhóm khác cũng cần phần cứng này.
Hệ thống buộc các đội phải đưa ra những sự đánh đổi thực sự. Nếu một nhóm nghiên cứu tiêu hết số hive bucks của mình vào một đợt huấn luyện mang tính giả định, nhóm sẽ có ít tài nguyên hơn cho dự án tiếp theo. Điều này tạo ra sự ưu tiên tự nhiên mà không cần các quyết định quản lý từ trên xuống về sáng kiến AI nào quan trọng nhất.