Plusieurs fabricants de puces explorent progressivement de nouvelles méthodes d'évaluation, car les agents transforment la charge de travail des CPU.Auteur et source de l'article : Wall Street Journal
Les scénarios d'application de l'agent deviennent de plus en plus spécialisés.
Des outils de programmation IA comme Claude Code, en passant par des assistants bureautiques capables de traiter des documents et d'opérer des logiciels, jusqu'aux assistants personnels qui aident les utilisateurs à planifier leurs déplacements et gérer leur emploi du temps, les agents assument de plus en plus de tâches concrètes.
L'extension continue des scénarios d'utilisation impose de nouvelles exigences en matière de puissance de calcul sous-jacente.
Dans ce contexte, Arm a récemment lancé une méthodologie d'évaluation des performances CPU dédiée aux agents, visant à aider les entreprises à évaluer le comportement de différents processeurs dans les tâches d'agents à l'aide de tests plus proches des scénarios réels.
Ce n'est pas un cas isolé. AMD a précédemment proposé un cadre d'évaluation des charges de travail CPU pour l'IA agent, incluant des tests sur l'exécution d'outils, la récupération de données et l'orchestration des tâches ; Intel a également mené des tests correspondants sur les processeurs Xeon 6, en se concentrant particulièrement sur le débit et l'efficacité de l'exécution simultanée des tâches agent.
Plusieurs fabricants de puces explorent progressivement de nouvelles méthodes d'évaluation, car les agents transforment la charge de travail des CPU.
Au cours des dernières années, la compétition en matière de puissance de calcul pour les grands modèles s'est principalement concentrée sur les GPU, avec des indicateurs tels que la vitesse de génération de tokens et le débit servant de critères essentiels pour évaluer les performances d'inférence IA.
À mesure que l'agent commence à exécuter des tâches réelles, en plus d'appeler le grand modèle pour l'inférence, il doit accéder à des bases de données, exécuter du code et appeler des outils, ce qui peut consommer une grande quantité de ressources CPU.
Ravi Malhotra, directeur de l'architecture des solutions AI sur Arm, a utilisé un exemple d'agent de développement logiciel pour souligner que le modèle effectue d'abord un raisonnement et génère du code, puis le CPU doit encore accomplir la construction, la compilation et les tests du code, des opérations qui peuvent prendre beaucoup de temps.
« Dans ce type d’usage, il est crucial que le CPU termine rapidement sa partie du travail afin de rétablir rapidement le contrôle au GPU ou à l’accélérateur plus coûteux, afin d’effectuer la prochaine étape du pipeline », a déclaré Ravi Malhotra aux médias tels que All-About-Science. « Si le CPU n’est pas assez rapide, le GPU plus coûteux restera inactif. »
Plus complexe encore, les goulots d'étranglement de performance des différents agents ne sont pas les mêmes. Certaines tâches sont principalement limitées par la vitesse d'inférence GPU, tandis que d'autres sont contraintes par la capacité d'exécution du sandbox CPU ou l'efficacité de la récupération des données. Même le goulot d'étranglement de performance d'un même type d'agent peut varier en fonction du modèle, de l'environnement de déploiement et de la tâche spécifique.
Par exemple, dans le développement logiciel, la compilation et les tests de code nécessitent souvent une utilisation continue des ressources CPU, ce qui rend la performance individuelle de chaque agent particulièrement importante. En revanche, dans des scénarios tels que le support client entreprise ou l'assistant personnel, les opérations individuelles sont généralement courtes, mais peuvent nécessiter de traiter un grand nombre de demandes simultanément, ce qui exige une capacité de concurrence CPU plus élevée.
Ces différences ont également amené l'évaluation des performances du CPU à se concentrer sur l'efficacité de l'exécution des tâches complètes d'Agent et sur les performances sous différentes charges de travail.
Arm propose cette fois de combiner les tests au niveau des composants avec les tests de référence des agents end-to-end.
Parmi ceux-ci, les tests au niveau des composants couvrent les étapes du serveur web, de la base de données, du service de modèles et de l'exécution dans un sandbox, tandis que les tests end-to-end intègrent des benchmarks d'agents tels que SWE-bench et Terminal-Bench pour évaluer les performances dans le cadre de processus complets.
Outre les indicateurs traditionnels tels que les performances mono-cœur et le débit multi-cœur, Arm s'intéresse également au nombre d'agents simultanés, à l'efficacité d'exécution des tâches et à la performance par baie.
Ravi Malhotra souligne que l'évaluation des performances nécessite un équilibre entre le débit et les exigences du SLA (Service Level Agreement), et ne doit pas se limiter à chercher à faire fonctionner simultanément plus d'agents.
En raison des différences de besoins selon les scénarios, Arm ne recommande pas d'appliquer une répartition uniforme des poids aux divers cas d'utilisation d'agents, mais préconise que les entreprises choisissent les indicateurs d'évaluation adaptés à leurs applications.
À mesure que les agents intègrent progressivement les processus métiers des entreprises, ces indicateurs de performance deviennent des références importantes pour le choix et la mise à niveau de l'infrastructure CPU.
Ravi Malhotra estime que les scénarios tels que le développement logiciel, le support client, la gestion de la chaîne d'approvisionnement et les assistants personnels deviendront des moteurs clés de la mise à niveau des infrastructures CPU des entreprises.
« Pour les entreprises, des scénarios tels que le support client, la gestion de la chaîne d'approvisionnement et les assistants personnels se concentrent davantage sur la performance par rack, où les avantages en termes d'évolutivité et d'efficacité énergétique de l'Arm AGI CPU sont particulièrement marquants », a déclaré Ravi Malhotra.
Ravi Malhotra a également souligné que, qu'il s'agisse de mettre à niveau les infrastructures existantes pour les applications Agent ou de concevoir et développer de nouvelles infrastructures, ces scénarios créeront des besoins de mise à niveau clairs et devraient devenir les principaux moteurs de la croissance et de l'adoption des CPU Arm AGI.
Pour les entreprises, la valeur apportée par l'amélioration des performances du processeur doit se traduire concrètement par une augmentation de l'efficacité opérationnelle et une réduction des coûts.
Les charges de travail des différents agents varient considérablement ; il reste à valider par davantage d'applications réelles si les avantages de performance observés lors des tests de référence se traduisent véritablement par une amélioration de l'efficacité d'exécution des tâches et une réduction des coûts de déploiement.
Avertissement de risque et clause de non-responsabilité
Le marché comporte des risques ; les investissements doivent être effectués avec prudence. Ce document ne constitue pas un conseil en investissement personnel et ne tient pas compte des objectifs, de la situation financière ou des besoins spécifiques de chaque utilisateur. Les utilisateurs doivent évaluer si les opinions, points de vue ou conclusions présentés dans ce document sont adaptés à leur situation particulière. Les investissements effectués sur la base de ces informations sont à votre seule responsabilité.