Это может быть момент, которого AMD ждала долго.
Недавно Wafer AI развернул на AMD MI355X Кими K3. В результате модель, которая ранее требовала 16 графических процессоров NVIDIA B200, распределённых на двух серверах, теперь может быть развернута на одном сервере AMD с 8 графическими процессорами MI355X.
Более важно, что он не просто встроил модель.
В тесте с вводом 1024 токенов и выводом 400 токенов MI355X показал общую пропускную способность 952 токена/с, а скорость генерации на одного пользователя достигла 118 токенов/с.
Рассчитано на один узел, его пропускная способность примерно в 3,8 раза выше, чем у решения с 16 картами B200, а соотношение цены и производительности также превышает показатели B200 и B300.
А самым неожиданным стало то, что ROCm на этот раз не доставил особых хлопот.
Модель слишком большая, память видеокарты начинает важнее вычислительной мощности
Кими K3 имеет 2,8 триллиона параметров, и для хранения только весов модели требуется более 1,5 ТБ видеопамяти, не считая KV Cache, необходимого для контекста в миллионы токенов.
Сервер с 8 GPU B200, каждое из которых имеет 192 ГБ видеопамяти, имеет общую емкость около 1,5 ТБ. Это означает, что даже веса модели сложно полностью разместить, не говоря уже о выделении места для KV Cache. Следовательно, для B200 необходимо использовать два сервера с 16 GPU.
B300 имеет 288 ГБ видеопамяти на каждой карте, что позволяет разместить модель в одном узле. Любопытно, что AMD MI355X также имеет 288 ГБ видеопамяти; восемь карт MI355X в сумме составляют около 2,3 ТБ — достаточно одной серверной платформы.
Это не просто меньше машин. После запуска модели через узлы для генерации каждого токена может потребоваться синхронизация данных через сеть. Даже при использовании сети RoCE v2 со скоростью около 195 Гб/с, межузловая связь все равно замедлит декодирование.
MI355X благодаря большему объему видеопамяти удерживает всю модель на одном узле.
Из итоговых результатов видно, что пиковая общая пропускная способность восьми MI355X достигла 952 токенов/с, а скорость генерации на один канал составила 118 токенов/с.
Для сравнения, общая пропускная способность двухузловой установки из 16 B200 составляет 498 токенов/с, что эквивалентно примерно 249 токенам/с на один узел.
То есть пропускная способность одного узла MI355X составляет примерно в 3,8 раза выше, чем средняя пропускная способность одного узла при развертывании B200 с двумя узлами. В плане скорости генерации для одного пользователя MI355X показывает 118 токенов/с, что выше, чем 90 токенов/с у B200.
B300 остается решением с наивысшей производительностью. Общая пропускная способность узла с 8 картами B300 достигает 1568 токенов/с, скорость генерации по одному каналу — 172 токена/с, общая пропускная способность примерно в 1,65 раза выше, чем у MI355X.
Но цена изменила вывод. Wafer рассчитывается по ставке 2,5 доллара США за карту в час для MI355X, 4,25 доллара США для B200 и 6 долларов США для B300.
При этом предположении о цене MI355X обеспечивает пиковую пропускную способность около 48 токенов/доллар; B200 — около 7 токенов/доллар; B300 — около 33 токенов/доллар.
B300 быстрее, но MI355X обладает более высокой эффективностью затрат на единицу. Для центров обработки данных, которым необходимо масштабно запускать открытые модели, это может быть важнее, чем просто соревнование за звание чемпиона по производительности.
Более неожиданно, что ROCm можно использовать практически сразу
Долгое время главной проблемой GPU AMD для центров обработки данных было не оборудование, а программное обеспечение.
Та же модель может работать напрямую на CUDA, но на ROCm может потребоваться изменить фреймворк, добавить операторы или даже переписать нижележащие ядра.
но Кими Ситуация с K3 иная.
AMD обеспечила поддержку, близкую к синхронизации при запуске. Wafer отметил, что модели могут работать непосредственно на MI355X, а дальнейшая работа сосредоточена на небольших проблемах совместимости и оптимизации производительности.
Одна из проблем возникла на этапе предполагаемого декодирования. Кими K3 сам по себе не предоставляет параметры черновой модели, необходимые для MTP или EAGLE, поэтому Wafer использовал внешнюю черновую модель блочного распространения.
Эта схема работает напрямую на CUDA, но в среде ROCm первый реальный запрос вызывает ошибку в планировщике. Причина в том, что в ветке ROCm не определена функция с именем top_k_renorm_prob.
Эта функция выполняет несложную задачу: выбирает k наибольших значений из вероятностного распределения, обнуляет остальные вероятности и повторно нормализует сохранённые вероятности.
Wafer в конце концов заполнил эту логику с помощью обычной функции PyTorch, не требуя написания GPU-ядер или переустройства системы прогнозируемого декодирования.
После исправления предполагаемое декодирование повысило производительность в однопоточном режиме примерно в 2,2 раза, производительность однопоточного потока при средней нагрузке — примерно в 1,7 раза, а пиковую общую пропускную способность — примерно на 18%.
Более того, система способна достигать пиковой пропускной способности при более высокой параллельной нагрузке.
Первая буква слишком медленно, в итоге добавили только четыре нуля
Конечно, пропускная способность — это не всё, что касается сервисов вывода. Для реальных пользователей другим показателем, напрямую влияющим на опыт, является TTFT — время ожидания от отправки запроса до появления первого токена.
На этом показателе MI355X изначально показал слабые результаты. При выполнении предварительной загрузки задачи объемом около 172 000 токенов MI355X потребовалось около 51 секунды, в то время как B300 справился за около 23 секунды.
В моделях, поддерживающих контекст с миллионами токенов, задача предзаполнения может быть чрезвычайно объемной. Если при обработке длинных контекстов пользователям приходится ждать десятки секунд или даже дольше каждый раз, то даже самая высокая скорость декодирования не сможет компенсировать проблемы с опытом использования.
Wafer в итоге обнаружил, что разница в производительности почти полностью обусловлена одним ядром внимания. Кими K3 в конфигурации тензорного параллелизма с 8 путями выделяет 12 голов внимания на каждый GPU. При этом более быстрый предзаполняющий ядро MLA в AMD AITER поддерживает только формы, кратные 4, 8 или 16.
12 голов не совпали, поэтому система вернулась к более медленной универсальной реализации Triton.
Решение простое: дополнить 12 голов внимания нулями до 16, использовать существующий высокоскоростной ядро, выполнить вычисления, а затем извлечь только необходимые 12 голов. Структура модели не изменялась, новые ассемблерные ядра не писались — просто добавлены четыре нуля.
После оптимизации стабильная скорость предзаполнения ядра AITER MLA достигла примерно 13 000 токенов/с, тогда как прежний путь отката Triton составлял около 4 000–7 000 токенов/с, что сократило время холодного предзаполнения примерно в два-три раза.
Эта оптимизация не изменит итоговую пропускную способность декодирования, но значительно сократит время ожидания пользователя до появления первого символа.
Это также указывает на то, что кажущееся большое программное различие между AMD и NVIDIA иногда связано не с недостатком базовых возможностей, а с тем, что существующие высокоскоростные ядра пока не охватывают новые формы моделей.
У CUDA еще есть защитный барьер, но уже появились пробелы
Один тест, конечно, не доказывает, что AMD полностью догнала NVIDIA.
B200 из-за нехватки видеопамяти вынужден работать через несколько узлов; абсолютная производительность B300 по-прежнему лидирует; инструменты, фреймворки и экосистема разработчиков ROCm также все еще уступают CUDA.
Но открытые модели быстро входят в эпоху триллионов параметров. Когда модели становятся настолько большими, что не помещаются на одном сервере, объем видеопамяти перестает быть просто цифрой в таблице параметров и напрямую влияет на стоимость коммуникации, сложность развертывания и конечную пропускную способность.
Стратегия AMD по предоставлению большего объема HBM на одну карту становится реальным системным преимуществом.
Если AMD сможет продолжать повышать стабильность ROCm, расширять поддержку форматов высокоскоростных ядер и обеспечивать более своевременную совместимость с новыми моделями с первого дня, то центрами обработки данных необходимо серьезно рассмотреть эти GPU. Они дешевле, имеют больший объем памяти, достаточную производительность, а программное обеспечение больше не требует месяцев настройки.
Как вы на это смотрите?
Ссылка для справки:
https://x.com/wafer_ai/status/2083628389903315406
https://x.com/ChiragAsarpota/status/2083864019870634151
Эта статья взята из официального аккаунта WeChat «Machine Heart» (ID: almosthuman2014), автор: следящий за LLM