Jane Street, одна з найсекретніших і найприбутковіших кількісних торгівельних фірм на планеті, відкрила завісу над своїм шляхом розробки інфраструктури ШІ. Все почалося з шести серверів Dell і перетворилося на спеціально побудований центр обробки даних у Техасі, який обслуговує 4 032 GPU з рідкісним охолодженням.
Фірма також розкрила щось, що, можливо, цікавіше самого обладнання: внутрішню аукціонну систему під назвою «hive bucks», яка змушує команди ставити один проти одного за час обчислень на GPU.
Від шести серверів до 4 032 GPU
Амбіції Jane Street у сфері ШІ не почалися з великої ідеї та безмежного бюджету. Вони почалися з шести пристроїв Dell. З того часу фірма перетворила цей скромний початок на спеціалізований об’єкт у Техасі, наповнений тисячами GPU, розроблених саме для досліджень ШІ та розробки торгівельних моделей.
Рідинні системи охолодження можуть бути на 15% ефективнішими за повітряні, а вода переказує тепло набагато ефективніше, ніж повітря. Сучасні розробки на рівні стелажу можуть підтримувати до 256 GPU на стелажі з рідинним охолодженням — щільність, яка була б неможлива лише з вентиляторами.
Внутрішня економіка обчислень
Компанія створила «hive bucks» — віртуальну валюту, яку розподіляють внутрішнім командам у вигляді бюджету на час GPU. Команди не просто подають запити через систему тікетів чи чекають у черзі. Вони бідують за ним на живих аукціонах, змагаючись з іншими командами, які також потребують обладнання.
Система змушує команди робити справжні компроміси. Якщо дослідницька група витрачає свої «hive bucks» на спекулятивний тренувальний запуск, у неї залишається менше ресурсів для наступного проекту. Це створює природне пріоритезування без необхідності прийняття рішень згори про те, яка ініціатива в галузі ШІ є найважливішою.