Кілька виробників чіпів послідовно досліджують нові методи оцінки, що пов’язано з тим, що агенти змінюють навантаження на ЦП.Автор статті, джерело: Wall Street Journal
Сценарії використання агента стають все більш спеціалізованими.
Від AI-інструментів для програмування, таких як Claude Code, до офісних асистентів, які можуть обробляти документи та керувати програмним забезпеченням, і до персональних асистентів, які допомагають користувачам планувати подорожі та керувати розкладом, агенти починають виконувати все більше конкретних завдань.
Постійне розширення сценаріїв застосування також висуває нові вимоги до базової обчислювальної потужності.
На цьому тлі Arm недавно представила методологію оцінки продуктивності CPU для агентів, намагаючись за допомогою тестів, що більш точно відображають реальні сценарії використання, допомогти компаніям визначити продуктивність різних CPU при виконанні завдань агентів.
Це не єдиний випадок. Раніше AMD запропонувала рамки для оцінки навантаження CPU для Agent AI, включивши до тестів виконання інструментів, отримання даних та оркестрування завдань; Intel також провела відповідні тести для процесорів Xeon 6, зосередившись на пропускній здатності та ефективності паралельного виконання Agent-завдань.
Кілька виробників чіпів послідовно досліджують нові методи оцінки, що пов’язано з тим, що агенти змінюють навантаження на ЦП.
Протягом останніх кількох років конкуренція за обчислювальні потужності великих моделей зосереджувалася навколо GPU, а показники швидкості генерації токенів і пропускної здатності стали важливими критеріями оцінки продуктивності AI-виведення.
Зі стартом виконання агентом реальних завдань, крім виклику великих моделей для міркувань, необхідно отримувати доступ до баз даних, виконувати код, викликати інструменти тощо — усі ці етапи можуть споживати велику кількість ресурсів ЦП.
Директор з архітектури рішень Arm Cloud AI Раві Малхотра, наводячи приклад агента розробки програмного забезпечення, зазначив, що спочатку модель виконує міркування та генерує код, а потім CPU повинен виконати збірку, компіляцію та тестування коду — ці операції можуть займати багато часу.
“У цьому сценарії дуже важливо, наскільки швидко CPU виконає свою частину роботи, щоб швидко повернути контроль дорожчому GPU або прискорювачу для виконання наступного кроку конвеєра,” — сказав Раві Малхотра засобам масової інформації, таким як All Things Digital. “Якщо CPU недостатньо швидкий, дорожчий GPU залишиться бездіяльним.”
Ще складніше те, що обмеження продуктивності різних агентів неоднакові. Деякі завдання в основному обмежені швидкістю висновку на GPU, інші — здатністю CPU до виконання в пісочниці або ефективністю отримання даних. Навіть обмеження продуктивності одного й того ж типу агента можуть змінюватися залежно від моделі, середовища розгортання та конкретного завдання.
Наприклад, у розробці програмного забезпечення компіляція та тестування коду часто вимагають постійного використання ресурсів CPU, тому важливіше одиночна продуктивність агента. Навпаки, у сценаріях, таких як корпоративна підтримка клієнтів або персональний асистент, окремі операції зазвичай короткі, але можуть вимагати одночасної обробки великої кількості запитів, що висуває більш високі вимоги до паралельної здатності CPU.
Ці відмінності також змусили оцінку продуктивності CPU звернути увагу на ефективність виконання повних завдань агента та продуктивність при різних навантаженнях.
У цьому випадку Arm запропонувала поєднати тестування на рівні компонентів з енд-ту-енд бенчмарком агентів.
Зокрема, тестування на рівні компонентів охоплює веб-сервер, базу даних, сервіс моделей та виконання в ізольованому середовищі, а повне тестування включає такі агентні стандарти, як SWE-bench та Terminal-Bench, для оцінки продуктивності в рамках цілісного робочого процесу.
Крім традиційних показників, таких як одноядерна продуктивність і багатоядерна пропускна здатність, Arm також звертає увагу на кількість одночасних агентів, ефективність виконання завдань та продуктивність на один стелаж.
Раві Малхотра підкреслив, що оцінка продуктивності повинна бути збалансованою між пропускною здатністю та вимогами SLA (угода про рівень обслуговування), а не просто спрямованою на запуск більшої кількості агентів одночасно.
Оскільки вимоги різних сценаріїв відрізняються, Arm також не рекомендує використовувати єдиний підхід до розподілу вагових коефіцієнтів для різних випадків використання агентів, а замість цього закликає компанії вибирати відповідні метрики оцінки на основі своїх застосувань.
Зі зростанням впровадження агентів у реальні бізнес-процеси підприємств, ці показники продуктивності стають важливим фактором при виборі та оновленні інфраструктури ЦП.
Раві Малхотра вважає, що сценарії, такі як розробка програмного забезпечення, підтримка клієнтів, управління ланцюгом поставок та персональні асистенти, стануть ключовими драйверами модернізації інфраструктури ЦП підприємств.
«Для підприємств сценарії, такі як підтримка клієнтів, управління ланцюжком поставок та персональні асистенти, більше зосереджені на продуктивності на один стелаж, і саме в цих сценаріях переваги Arm AGI CPU у масштабованості та енергоефективності особливо виражені», — сказав Раві Малхотра.
Раві Малхотра додав, що як модернізація існуючої інфраструктури для застосунків Agent, так і розробка нової інфраструктури створюють чіткі потреби в оновленні та мають потенціал стати основним драйвером зростання та поширення Arm AGI CPU.
Для бізнесу вигоди від підвищення продуктивності CPU в кінцевому підсумку повинні відображатися у реальній ефективності операцій та витратах.
Навантаження різних агентів значно відрізняється, і чи зможе перевага в продуктивності, виявленою під час бенчмаркування, справді призвести до зростання ефективності виконання завдань та зниження витрат на розгортання, потребує додаткової перевірки на практиці.
Попередження про ризики та відмова від відповідальності
Ринок супроводжується ризиками, інвестування вимагає обережності. Цей матеріал не є особистою інвестиційною рекомендацією і не враховує індивідуальні інвестиційні цілі, фінансовий стан або потреби окремих користувачів. Користувачам слід оцінити, чи відповідають будь-які думки, погляди або висновки, наведені в цьому матеріалі, їхній конкретній ситуації. Інвестування на основі цього матеріалу здійснюється на власний ризик.