Jane Street, одна из самых секретных и прибыльных количественных торговых фирм в мире, открыла свои AI-инфраструктурные достижения. То, что началось с шести серверов Dell, превратилось в специально построенный центр обработки данных в Техасе, где размещены 4032 жидкостно-охлаждаемых GPU.
Компания также раскрыла что-то, возможно, более интересное, чем само оборудование: внутреннюю аукционную систему под названием «hive bucks», которая заставляет команды конкурировать друг с другом за время вычислений на GPU.
От шести серверов до 4 032 GPU
Амбиции Jane Street в области ИИ не начались с грандиозного видения и неограниченного бюджета. Они начались с шести компьютеров Dell. С тех пор компания превратила этот скромный старт в специализированный объект в Техасе, заполненный тысячами GPU, специально разработанных для исследований в области ИИ и разработки торговых моделей.
Системы жидкостного охлаждения могут быть на 15% более энергоэффективными, чем их воздушные аналоги, а вода передает тепло намного эффективнее, чем воздух. Современные конструкции на уровне стойки позволяют поддерживать до 256 GPU в одной стойке с жидкостным охлаждением — плотность, невозможная только с помощью вентиляторов.
Внутренняя экономика вычислений
Компания создала «hive bucks» — виртуальную валюту, распределяемую внутренним командам в качестве бюджета на время использования GPU. Команды не просто подают запросы на вычислительные ресурсы через систему тикетов или ожидают в очереди. Они участвуют в живых аукционах, конкурируя с другими командами, которым также необходимы аппаратные ресурсы.
Система заставляет команды делать настоящие компромиссы. Если исследовательская группа тратит свои «hive bucks» на спекулятивный тренировочный запуск, у неё остаётся меньше ресурсов для следующего проекта. Это создаёт естественную приоритизацию без необходимости принимать решения сверху о том, какая инициатива в области ИИ наиболее важна.