Varios fabricantes de chips están explorando nuevos métodos de evaluación, detrás de lo cual está el hecho de que los Agentes están cambiando la carga de trabajo de la CPU.Autor y fuente del artículo: Wall Street Journal
Los escenarios de aplicación de Agent se están volviendo cada vez más especializados.
Desde herramientas de programación por IA como Claude Code, hasta asistentes de oficina capaces de procesar documentos y operar software, y asistentes personales que ayudan a los usuarios a planificar itinerarios y gestionar agendas, los Agentes asumen cada vez más tareas específicas.
La expansión continua de los casos de uso también impone nuevos requisitos sobre la capacidad de cómputo subyacente.
En este contexto, Arm lanzó recientemente una metodología de evaluación del rendimiento de CPU para agentes, que busca ayudar a las empresas a evaluar el desempeño de diferentes CPU en tareas de agentes mediante pruebas más cercanas a escenarios de uso real.
Este no es un caso aislado. AMD ya había propuesto un marco de evaluación de cargas de trabajo de CPU para Agent AI, incluyendo pruebas de ejecución de herramientas, recuperación de datos y orquestación de tareas; Intel también realizó pruebas relacionadas en los procesadores Xeon 6, centrándose especialmente en el rendimiento y la eficiencia de ejecución simultánea de tareas de Agent.
Varios fabricantes de chips están explorando nuevos métodos de evaluación, detrás de lo cual está el hecho de que los Agentes están cambiando la carga de trabajo de la CPU.
En los últimos años, la competencia por la potencia de cómputo de los grandes modelos se ha centrado principalmente en las GPU, y métricas como la velocidad de generación de tokens y el rendimiento se han convertido en criterios importantes para medir el rendimiento de la inferencia de IA.
A medida que los agentes comienzan a ejecutar tareas reales, además de invocar modelos grandes para la inferencia, también necesitan acceder a bases de datos, ejecutar código y llamar a herramientas, todos estos pasos pueden consumir una gran cantidad de recursos de CPU.
Ravi Malhotra, Director of Architecture for Arm Cloud AI Solutions, using a software development Agent as an example, noted that the model first performs reasoning and generates code, after which the CPU still needs to complete code building, compilation, and testing—operations that can consume significant time.
“En este tipo de casos de uso, es muy importante que la CPU complete su parte del trabajo lo más rápido posible, para devolver el control lo antes posible a la GPU o acelerador más costoso, que ejecutará el siguiente paso en la tubería,” dijo Ravi Malhotra a medios como All Things Digital. “Si la CPU no es lo suficientemente rápida, la GPU más costosa permanecerá inactiva.”
Es más complejo porque los cuellos de botella de rendimiento de diferentes Agentes no son los mismos. Algunas tareas están principalmente limitadas por la velocidad de inferencia de la GPU, mientras que otras están restringidas por la capacidad de ejecución del sandbox de la CPU o la eficiencia de recuperación de datos. Incluso el cuello de botella de rendimiento de un mismo tipo de Agente puede variar según el modelo, el entorno de implementación y la tarea específica.
Por ejemplo, en el desarrollo de software, la compilación y prueba de código suelen requerir un uso continuo de recursos CPU, por lo que se valora más el rendimiento de ejecución de un solo agente. En contraste, en escenarios como el soporte al cliente empresarial o asistentes personales, las operaciones individuales suelen ser breves, pero pueden requerir procesar múltiples solicitudes simultáneamente, lo que impone mayores exigencias sobre la capacidad de concurrencia de la CPU.
Estas diferencias también han llevado a la evaluación del rendimiento de la CPU a centrarse en la eficiencia de ejecución de tareas completas de Agent y en el rendimiento bajo distintas cargas de trabajo.
En esta ocasión, Arm propone combinar las pruebas a nivel de componente con las pruebas de referencia de agentes de extremo a extremo.
Entre ellos, las pruebas a nivel de componente cubren los componentes del servidor web, la base de datos, el servicio de modelos y la ejecución en sandbox, mientras que las pruebas end-to-end incorporan benchmarks de agentes como SWE-bench y Terminal-Bench para evaluar el rendimiento en flujos de trabajo completos.
Además de métricas tradicionales como rendimiento de núcleo único y rendimiento multínúcleo, Arm también se enfoca en la cantidad de agentes concurrentes, la eficiencia de ejecución de tareas y el rendimiento por bastidor.
Ravi Malhotra enfatiza que la evaluación del rendimiento requiere equilibrar el throughput con los requisitos del SLA (Acuerdo de Nivel de Servicio), y no debe centrarse únicamente en ejecutar más Agentes simultáneamente.
Dado que las necesidades varían según el escenario, Arm tampoco recomienda un enfoque uniforme para la asignación de pesos en distintos casos de uso de Agentes, sino que sugiere que las empresas elijan los indicadores de evaluación adecuados según sus aplicaciones específicas.
A medida que los agentes se integran gradualmente en los procesos empresariales reales, estos indicadores de rendimiento se convierten en una referencia importante para que las empresas elijan y actualicen su infraestructura de CPU.
Ravi Malhotra cree que escenarios como el desarrollo de software, el soporte al cliente, la gestión de la cadena de suministro y los asistentes personales se convertirán en impulsores clave para la actualización de la infraestructura de CPU por parte de las empresas.
“Para empresas, escenarios como soporte al cliente, gestión de la cadena de suministro y asistentes personales se centran más en el rendimiento por rack, y las ventajas de escalabilidad y eficiencia energética del Arm AGI CPU son especialmente destacables en estos casos,” dijo Ravi Malhotra.
Ravi Malhotra también señaló que ya sea actualizar la infraestructura existente para aplicaciones de Agent o diseñar y desarrollar nueva infraestructura, estos escenarios generarán necesidades de actualización claras y tienen el potencial de convertirse en el principal motor del crecimiento y la adopción de la CPU Arm AGI.
Para las empresas, el valor derivado del aumento del rendimiento de la CPU debe reflejarse finalmente en la eficiencia operativa y los costos reales.
Las cargas de trabajo de diferentes Agentes varían considerablemente; aún se necesita más validación en aplicaciones reales para determinar si la ventaja de rendimiento en las pruebas de referencia se traduce realmente en una mejora de la eficiencia de ejecución de tareas y una reducción de los costos de despliegue.
Advertencia de riesgo y cláusula de exención de responsabilidad
El mercado conlleva riesgos; invierta con cautela. Este artículo no constituye un consejo de inversión personal ni tiene en cuenta los objetivos de inversión, situación financiera o necesidades específicas de usuarios individuales. Los usuarios deben evaluar si cualquier opinión, punto de vista o conclusión presentada en este artículo se ajusta a su situación particular. Invertir sobre la base de esta información es responsabilidad del usuario.