Несколько производителей чипов последовательно исследуют новые методы оценки, что связано с тем, что агенты меняют рабочую нагрузку ЦП.Автор статьи, источник: Wall Street Journal
Сценарии применения Agent становятся все более специализированными.
От AI-инструментов для программирования, таких как Claude Code, до офисных помощников, способных обрабатывать документы и управлять программным обеспечением, и до личных ассистентов, помогающих пользователям планировать поездки и управлять расписанием, агенты берут на себя всё больше конкретных задач.
Постоянное расширение сценариев применения также выдвигает новые требования к базовой вычислительной мощности.
На этом фоне Arm недавно представила методологию оценки производительности CPU для агентов, стремясь помочь компаниям определить производительность различных CPU в задачах агентов с помощью тестов, более близких к реальным сценариям применения.
Это не единичный случай. Ранее AMD предложила рамки для оценки рабочих нагрузок CPU для Agent AI, включив в тестирование такие этапы, как выполнение инструментов, извлечение данных и оркестрация задач; Intel также провела соответствующие тесты для процессоров Xeon 6, уделяя особое внимание пропускной способности и эффективности параллельного выполнения агентских задач.
Несколько производителей чипов последовательно исследуют новые методы оценки, что связано с тем, что агенты меняют рабочую нагрузку ЦП.
В последние годы конкуренция в вычислительных мощностях для крупных моделей в основном сосредоточилась на GPU, а такие показатели, как скорость генерации токенов и пропускная способность, стали важными критериями оценки производительности ИИ-вывода.
По мере того как агенты начинают выполнять реальные задачи, помимо вызова крупных моделей для вывода, им необходимо обращаться к базам данных, выполнять код и вызывать инструменты, что может потреблять значительные ресурсы ЦП.
Директор по архитектуре решений Arm Cloud AI Рави Малхотра на примере программного агента разработки отметил, что модель сначала выполняет вывод и генерирует код, после чего CPU должен завершить сборку, компиляцию и тестирование кода, что может занять значительное время.
Важным аспектом в таких сценариях является скорость, с которой CPU завершает свою часть работы, чтобы как можно скорее вернуть управление более дорогому GPU или ускорителю для выполнения следующего этапа конвейера,» — сказал Рави Малхотра средствам массовой информации, таким как AllThingsD. «Если CPU недостаточно быстр, более дорогой GPU будет простаивать.»
Более сложным является то, что у разных агентов узкие места производительности неодинаковы. Некоторые задачи в основном ограничены скоростью вывода на GPU, другие — возможностями выполнения в CPU-песочнице или эффективностью извлечения данных. Даже узкие места производительности одного и того же типа агентов могут меняться в зависимости от модели, среды развертывания и конкретной задачи.
На примере разработки программного обеспечения компиляция и тестирование кода часто требуют постоянного использования ресурсов CPU, поэтому важна производительность отдельного агента. В отличие от этого, в сценариях, таких как корпоративная поддержка клиентов или личный ассистент, отдельные операции обычно короткие, но может потребоваться одновременная обработка большого количества запросов, что предъявляет более высокие требования к параллельной способности CPU.
Эти различия также заставили оценку производительности CPU сосредоточиться на эффективности выполнения полных задач агента и производительности при различных рабочих нагрузках.
В этот раз Arm предложила объединить тестирование на уровне компонентов с энд-ту-энд бенчмаркингом агентов.
В рамках тестирования на уровне компонентов охватываются такие этапы, как веб-сервер, база данных, сервис моделей и выполнение в песочнице, а в рамках end-to-end тестирования используются такие бенчмарки агентов, как SWE-bench и Terminal-Bench, для оценки производительности в рамках полного рабочего процесса.
Помимо традиционных показателей, таких как однопоточная производительность и многопоточная пропускная способность, Arm также уделяет внимание количеству одновременно работающих агентов, эффективности выполнения задач и производительности на один стойку.
Рави Малхотра подчеркивает, что оценка производительности требует баланса между пропускной способностью и требованиями SLA (договор об уровне обслуживания), а не просто стремления к одновременному запуску большего количества агентов.
В связи с различиями в требованиях различных сценариев, Arm также не рекомендует использовать единый подход к распределению весов для различных вариантов использования агентов, а предлагает компаниям выбирать соответствующие метрики оценки в зависимости от своих приложений.
По мере того как агенты постепенно интегрируются в реальные бизнес-процессы предприятий, эти показатели производительности становятся важным ориентиром для выбора и обновления инфраструктуры ЦП.
Рави Малхотра считает, что сценарии, такие как разработка программного обеспечения, поддержка клиентов, управление цепочками поставок и личные ассистенты, станут ключевыми драйверами модернизации инфраструктуры ЦП предприятиями.
«Для предприятий такие сценарии, как поддержка клиентов, управление цепочками поставок и персональные ассистенты, больше сосредоточены на производительности на стойку, и масштабируемость и энергоэффективность Arm AGI CPU особенно выделяются в этих сценариях», — сказал Рави Малхотра.
Рави Малхотра далее отметил, что как обновление существующей инфраструктуры для приложений Agent, так и проектирование и разработка совершенно новой инфраструктуры создадут четкие требования для модернизации и станут основным драйвером роста и распространения Arm AGI CPU.
Для компаний ценность, получаемая от повышения производительности CPU, в конечном итоге должна проявляться в реальной эффективности операций и снижении затрат.
Различия в нагрузке между различными агентами значительны, и преимущества в производительности, показанные в тестах, пока не подтверждены практическим применением в плане повышения эффективности выполнения задач и снижения затрат на развертывание.
Уведомление о рисках и отказ от ответственности
Рынок сопряжен с рисками, инвестиции требуют осторожности. Настоящий материал не является персональной инвестиционной рекомендацией и не учитывает индивидуальные инвестиционные цели, финансовое положение или потребности отдельных пользователей. Пользователям следует самостоятельно оценить, соответствуют ли любые мнения, взгляды или выводы, представленные в данном материале, их конкретной ситуации. Инвестирование на основании данного материала осуществляется на собственный риск.